标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

适用于企业信息查询

01

企查查 https://qichacha/

作为一款企业信息数据查询的软件，它包含了丰富的数据并且数据有效。在企业征信，大数据分析，互联网金融等多维度对企业进行画像，提供数据解决方案

02

启信保 http://qixin/

强大的数据后台，它的web后台可以支持3秒内同时最多调取10000家企业信息。客户利用APP扫描图片，就能够查询到相关企业的信息。

03

天眼查 https://tianyancha/

整合的信息更多，包括基本的工商信息、企业年更、注册商标等。能够极大的减少查询时间。企业版可查询人与人之间更为隐秘的隐私关系

百度平台下的一些大数据查询平台

01、百度指数 index.baidu

能够查询关键词搜索指数与分析用户群体画像，并且能够看到搜索什么长尾词的热度最多。方便seo优化与竞价挖词。

02、百度营销中心 yingxiao.baidu

可以在上面学习百度推广基础知识，疑难问题解答

03、百度搜索风云榜 top.baidu

查看搜索热点，可以监控热点关键词。

04、百度在线翻译 fanyi.baidu

喜欢的话可以看看，简单的英语翻译哦

05、百度营销研究院 bim.baidu

包含媒体、行业、品牌的一些研究

06、百度口碑 koubei.baidu

要做好品牌，网站的口碑来提升影响力，可以在这里尝试。

07、百度统计 tongji.baidu

如果要进行一个方案的执行或者分析又没有数据的时候，这个工具就能帮到你

互联网金融企业风险控制查询平台

1、 同盾科技 tongdun/product/coreFunc/decision

2、 通付盾 tongfudun/ba.jhtml

3、 汤森路透 https://thomsonreuters/zh/products-services/risk.html

4、 誉存科技 https://star.socialcredits/

四款平台都很强大，但是他们各有各的优势，喜欢的朋友可以去了解一下

当然了，小编还有很多的大数据资料还在整理中，大家就先看看分享出来的好东西，后期还会推出。

小程序应用开发

主营范围：小程序开发/网站建设/微官网/APP开发/域名注册/微信推广/SEO优化/微分销

受各大互联网公司的变化，各公司旗下的APP市场也受到季节效应。

话不多说，先给处各类排名榜单。

社交类APP：

微信、QQ、新浪继续蝉联前三名，QQ空间份同比上个季度呈下滑趋势。

短视频类APP：

多重内容、活动助力 短视频长期迎爆发,尤其2017年下半年的各类直播知识竞答冲顶大会，把抖音，西瓜视频、火山小视频下载量、活跃度倍数上升，前三名依次是西瓜、火山、快手，抖音从2017年的第7名上升至第4名。

直播类APP：

映客直播相比2017年跌出前10名。

新闻类APP：

今日头条稳居榜首，智能推送适合自己的新闻，加上各大自媒体平台的奖励和收益分成，鼓励更多自媒体人士提供优质，专业的资讯，在短期内会形成一个百花齐放百家争鸣的局面。趣头条算是2017年的一匹资讯新闻的黑马，加之得到腾讯的注资，后续发力有所期待。

视频类APP：

相对其他各大类，视频类APP较2017年保持平稳，当然哔哩哔哩的上市，带来了更多的关注。

音乐类APP：

虽然网易云音乐在版权问题上，2017的名次有所下降，但相信网易不会坐以待毙，期待有更好的表现。

音频类APP：

音频类APP各大公司保持稳定局面，并未出现黑马和市场份额的剧烈变化。

阅读类APP：

连尚读书、熊猫看书排名呈上升趋势。

漫画类APP：

共享单车类APP：

随着摩拜单车和股权变动，及哈罗单车的改进，共享单车的三足鼎立局面在逐渐形成，但是后续其他是否有黑马出现也未可知。

网约车类APP：

汽车买卖平台类APP：

汽车资讯类APP：

懂车帝已经超越汽车之家位列榜首

地图类APP：

高德地图、百度地图、腾讯地图稳居前三名。

购物类APP：

新零售类APP：

综合类APP：

外卖类APP：

在线旅游类APP：

理财、借贷和保险类APP：

移动支付类APP：

证券交易类APP：

银行类类APP：

K12类APP：

外语类APP：

早教类APP：

体育类APP：

运动健身类APP：

医药健康类APP：

母婴类APP：

摄影类APP：

备注：

排名依据：周活跃渗透率。

周活跃用户渗透率=app的周活跃用户数/中国市场总周活跃用户数。周人均打开次数：用户平均每周打开app的次数。

嗨哥科技/小程序开发

小程序开发 / 网站建设 / 微官网

APP开发 / 域名注册 / 微信推广

SEO优化 / 微分销

扫一扫添加我为好友

泉州嗨哥网络科技有限公司是一家专注于为中小型企业提供企业网站建设、百度推广、微信推广、微信小程序开发注册、微信公众号托管、APP开发、微信营销、一元购平台搭建、三级分销的综合型产品。

嗨哥专注于创意设计实现商业价值最大化，为所有谋求长远发展的企业提升品牌品质。拥有经验丰富技术团队，

专业的资深设计师。凝聚了一批行业内最优秀的年轻人，富有创造力和奉献精神。

我们一直以来坚持“客户的要求是我们的标准”，“客户的满意是我们的追求”为主导理念，秉承“创新、卓越、激情、学习、客户至上”的态度，来满足广大客户的需求，不断探索和发现，为客户提供更先进的技术，更优质的产品，更好的服务。助力企业发展，携手共赢。

嗨哥网络--专注于品牌建设及互动设计！

嗨哥使命

致力打造高端化行业领军品牌，中国领先的企业信息化服务商！

嗨哥宗旨

以质量求生存，以客户需求为导向，以科技为基础，向管理要效益！

嗨哥价值观

履责、敬业、专业、专注

成功必须专业，专业源自务实。

嗨哥经营理念

追求品质

质量赢信誉，信誉得效益！市场是检验质量的唯一标准！

服务第一

通过自身完善的原创开发团队及整合优秀产品资源，为广大客户提供高品质的服务，推动企业互联网建设行业的发展。

超越自我

勇于挑战，超越自我，一个人才能不断的得到进步和提升；一个公司才能有更大的创新和发展，在行业中立于不败之地。

策略创意优势

我司深信卓越的创意作品，永远是一个成功代理商前进巨轮的中轴过去是，现在是，未来亦如是。根据您的公司性质、要求，我们会为您准确独特设计网站样式。通过我们不懈的努力，和专业的精神，配合客户需求，做到了最佳的服务，从而获得各客户的好评，相信我们 ，只要给我们一次机会，告诉我你们的想法，我们会给你一个惊喜 ！

立足国际高度，力求以本土的价格为您提供4A标准的服务！

我们对品质的追求从未停止过，与此同时，我们也始终不停的探索新的方法在保证品质的同时为客户节省开支降低成本。我们一心要成为的是能帮客户解决问题共同发展互惠互利并肩作战的好兄弟和值得信赖的商业伙伴，而不是成为把客户当作羔羊而随便宰割的屠夫！

管家式服务

我们为企业提供一站式全程服务，从网站设计到制作落地再到宣传推广我们均能提供可靠高效的整体式全程服务。让您在省心的同时能够真正的使品牌策略得到始终如一的贯彻与执行！我们还有专门的售后服务人员进行后期维护。

清晰可见的流程

科学合理的工作流程会大大提高工作效率，并让客户了解项目的进展情况与下一步的工作进程，从而合理安排工作计划保证工作进度！

团结稳定经验丰富的策划、创意、设计团队

我们拥有经验丰富、创造力非凡、朝气蓬勃、且团结稳定的行业精英团队。我们的项目开展之初会成立项目专案组为您进行一对一的服务，不会随意调换为您服务的设计人员，从而杜绝了有些网络公司的设计三天两头换人以至于您的项目从头到尾可能被当作皮球一样被人踢来踢去，最后不知到了谁的手里而且每次修改的风格也是五花八门，质量参差不齐，就更不用说什么有高水准可言了！

态度服务一流

我们本着对客户负责对自己负责的态度做事，把客户对我们的信任看做是至高无上的荣耀，我们会用百分之两百 的热情与责任心去完成客户交与的工作！同时我们提供专业可靠的服务，从对市场的把控、对企业的跟踪回访到策略创意的贯彻执行等各方面，我们都力求做到为客户解决实际问题让客户可以完全放心。

网购收快递已成为生活中的“头等大事”

不少小伙伴们调侃：

今天的心情怎么样，

取决于今天有没有快递

而在网购时，

选择优质的电商平台往往是最关键的

在这么多电商平台中

哪个最受广州市消费者青睐呢？

哪个电商平台口碑最好？

大数据告诉你！

为更好地帮助消费者了解电商平台，改善网购消费体验，认识和维护自身合法权益，促进电商商家守规自律，提高守法意识并提升服务水平，广州市消委会于2017年10月开展针对零售类电商平台的广州市消费者使用现状调查。调查内容

消费者电商平台使用状况，包括消费者电商平台选用情况、选用原因、网购品类、网购关注因素、退货退款情况等。

消费者电商平台满意度，包括消费者对电商平台的界面使用流畅性、商品描述准确性、商品价格合理性、物流服务、售后服务、投诉处理机制的满意度及消费者对电商平台的改进意见等。

消费者人口特征，包括消费者性别、年龄、职业、收入等。

调查结果揭晓

1淘宝、天猫、京东是广州消费者最主要选用的电商平台

调查结果显示：44.2%消费者通过淘宝网购；天猫和京东次之，分别为17.0%和14.8%；一定程度上反映出广州消费者最常使用的是这三大平台，其中以淘宝最为突出。其余平台有唯品会、当当、亚马逊、苏宁易购等，占比均为6%以下。另外，也有少数消费者使用国美在线、1号店等其他平台，占比4.9%。

2消费者选择电商平台的主要考虑因素

影响消费者选用电商的主要因素有：

商品种类是否丰富，占比33.8%；

商品价格是否合理，占比31.3%；

支付方式，占比29.7%；

商品质量，占比28.7%；

物流速度，占比28.4%；

退换货保障，占比26.9%；

平台口碑，占比26.1%。

3消费者电商平台内选购商品最关注的因素

调查结果显示：消费者购买决策时最注重买家评价，提及率为52.3%；以及商品介绍、卖家服务态度和卖家信用，分别为48.2%、47.5%和46.6%。

4网购消费者女性偏多

调查结果显示：网购消费者中女性比例为61.8%，男性为38.2%。

从平台来看▼

女性消费者选择淘宝、天猫、唯品会的比例分别为48.3%、18.2%和6.1%，均高于男性消费者比例；

男性消费者选择京东、亚马逊、当当、苏宁易购的比例分别为17.9%、6.6%、7.4%和4.4%，均高于女性。

5各年龄段人群因需求不同关注不同电商平台

调查结果显示▼

“90后”群体中53.8%选用淘宝，高于其他群体。

“80后”选用天猫、唯品会的比例高于其他群体。

“70后”选用亚马逊、当当的比例高于其他群体，一定程度显示“70后”群体爱买书。

“60后”选用京东、苏宁易购的比例高于其他群体，可能是喜欢网购数码电器。

6各年龄段人群对于商品服务侧重点各不相同

调查结果显示▼

“90后”相对于其他群体更关注商品种类和商品价格，分别占38.3%和36.0%。

“80后”更关注客服态度、退换货保障、支付方式和先行赔付，分别占20.1%、28.5%、30.6%和15.3%。

“70后”更关注商品质量、退换货保障和宣传促销，分别占31.4%、28.5%和18.5%。

“60后”更关注物流速度和货到付款，分别占35.1%和20.6%。

7消费者主要网购品类

调差结果显示：消费者网购的最主要品类是服装鞋帽箱包、美容护理和食品饮料，分别占40.8%、30.6%和28.8%。家居家纺、手机数码、家电办公、母婴玩具、图书音像等也排在前列。淘宝、天猫、京东优势品类分布广，唯品会、亚马逊、当当、苏宁易购主要靠个别品类影响力。

8消费者网购发起退货退款的主要原因

调查结果显示：消费者在电商平台上退货退款的最突出原因是质量问题，近一半消费者因此退货；其次是货不对板，选择比例为41.7%；消费者因自身原因退货的也较高，达30.1%；因物流原因退货的也接近30%。少数消费者的退货原因还有疑似售假、商品过期、商品无凭证等。

9唯品会的退货退款成功率最高，苏宁易购最低

调查结果显示▼

唯品会的退换货退款成功率最高，达99.0%。

其次是淘宝和京东，分别为97.6%和96.7%。

亚马逊、天猫、当当也在90%以上。

苏宁易购低于90%。

重点来了

哪家电商平台最受消费者青睐？

▼▼▼

10消费者对当当、京东综合满意度较高

调查结果显示：在电商平台界面使用流畅性、商品价格合理性、售后服务、投诉处理机制等方面，消费者对当当的满意度最高；在商品描述准确性、物流服务、售后服务方面，消费者对京东满意度最高。淘宝各项指标满意度均较低。

消费者对当当的界面使用流畅性满意度最高调查结果显示，消费者对电商平台界面使用流畅性满意度为8.23分，当当的界面使用流畅性满意度最高，为8.72分。

消费者对京东的商品描述准确性满意度最高调查结果显示，消费者对电商平台商品描述准确性满意度为8.07分，京东的商品描述准确性满意度最高，为8.69分。商品描述与实物存在差异是网购存在的问题之一，主要体现在：一是实物与网站描述有出入。二是商品质量差和假货问题频发。

消费者对当当的商品价格合理性满意度最高调查结果显示，消费者对电商平台商品价格合理性满意度为8.04分，当当的商品价格合理性满意度最高，为8.56分。消费者对电商价格合理性的质疑较多，许多消费者反映部分打折后的商品价格甚至高于原价。大型促销期间，许多电商平台存在“明降暗涨”现象，先涨价再降价已经成为各大电商平台的公开促销套路。究其原因主要是网络购物环境中的价格欺诈具有隐蔽性，经营者因价格欺诈所带来的风险和收益不成比例，通过价格欺诈所获取的利益远高于可能发生的违法成本。

消费者对京东的物流服务满意度最高调查结果显示，消费者对物流服务满意度为8.08分，京东的物流服务满意度评分最高，为8.82分。物流服务主要存在的问题有：一是部分平台没有“运费险”，发生物流问题时消费者所付运费得不到保障。二是存在物流过程货物丢失、破损问题。三是物流运输时间长，到货延迟。四是存在未签收的货品被告知已签收的问题。五是部分物流从业人员素质良莠不齐等。六是消费者购买较贵重商品丢失时，出现赔偿责任与标准不清等问题。

消费者对当当、京东的售后服务满意度最高调查结果显示，消费者对电商平台售后服务满意度评分为7.99分，其中，当当和京东的售后服务满意度评分最高，均为8.58分。售后服务存在的问题主要是由于电商平台把控不严，网络商家良莠不齐，消费者通过电商平台购买商品容易出现质量差、假货等问题，有些商家对此百般推诿不予解决，而消费者在遇到网购纠纷时，也容易因取证难、举证难，导致维权困难。

消费者对当当的投诉处理机制满意度最高调查结果显示，消费者对电商平台投诉处理机制满意度较低，为7.79分，其中，当当的投诉处理机制满意度最高，为8.62分，这反映了电商平台在投诉处理机制方面仍存在问题。

（上述图表中1分表示非常不满意，10分表示非常满意）

总体来看，消费者认为电商平台需改进的方面主要有物流速度、商品质量和商品种类等，分别有39.5%、39.0%和34.6%的消费者提及；促销力度、支付便捷、支付安全、付款方式、个人信息保护等方面紧随其后，均在20%以上；还有客服态度、退换货机制及用户界面设计等意见也被提及。

温馨提示

TO消费者：

用户价值、精细化运营、自2016年，不断有人提出这些概念，到2017更为普及，这个趋势将一并波及大公司、独角兽和创业公司。

不多说，先上各类榜单。

（游金地整理发布）

请点击此处输入图片描述

我们都知道一句话“巧妇难为无米之炊”，数据源就是让数据产生价值中的那些大米。那大数据时代企业需要哪些数据呢？根据我个人理解我觉得可以大致分为以下几类：

1、（内部）企业自身业务生产经营环节产生的内部数据，包括销售、客服、仓储、财务等；

2、（运营）可以理解为企业发展过程中掌握在第三方手中的数据，如企业的广告供应商以及一些传播与媒体数据，新媒体、H5、app等；

3、（外部）包括传统调研数据和机器数据，搜索、电商、社交等。而对于外部数据的获取上，企业往往会觉得有难度，这时候就可以借助API供应商的力量来补充自己的数据源。

先来科普个概念，开放应用程序的API（即Application Program Interface，应用程序接口）可以让开发者在无需访问源码，或理解内部工作机制细节的情况下，调用他人共享的功能和资源。在数据源的获取上API是个好伙伴。本文将介绍7款API供应平台：百度APIStore、Apix、数说聚合、通联数据、HaoService、聚合数据、datasift （排名不分先后）。

1、百度API Store

百度旗下的API Store，能够满足大部分个人应用开发者，特别是其最近推出的Android和IOS SDK。其接口分类较细，但是感觉有一些分类之间存在交集，没有明显的边界区分。接口、数据更新速度也比较快，支持个人发布与定制化服务，上千的接口量基本可以满足一般开发者的需求。提供移动开发SDK，移动开发者可调用API Store服务所开发的SDK包，加上API文档清晰明了，上手简单。

缺点就是由于接口杂乱繁多且来源不一，部分接口的质量、稳定性没有保证。

2、Apix

Apix更多是面向小贷机构、互联网金融、租赁保理等行业客户，除了提供身份核验、工商信息、失信名单、支付缴费等接口，还有包括电商、学历信息、运营商记录、信用卡账单等分析服务。其数据分类包括征信风控、支付缴费和常用数据，而征信风投是其主打数据。由于这类数据具有专业性，因此收费相比其他API会稍微偏高。

接口大多数是Apix自主开发，质量有保证，部分核查接口的高级版还能联网检测，就是接口的数量确实有点少。

3、聚合数据

聚合数据跟百度的APIStore有点像，接口包括生活、旅游、金融、开发、咨询等分类，还比较全面，更加适合对接口质量和稳定性有较高要求的公司或企业级应用的开发者。但是并不支持个人发布，因此接口的质量和稳定性会比较好，但也正因为这样接口量大大减少。

聚合数据给我的感觉更像是致力于打造高质量API，不求广而求精。不过申请使用接口需要实名认证和审核，算是双刃剑吧，对于买卖双方来说是一个保障，但是对于试用者来说是一个不太好的体验。

4、HaoService

Haoservice近期更新后推出了源码商城，用户可在上面直接购买商城、管理系统、UDP通讯源、发布系统等源码。总体来说比较适合公司或企业级应用的开发者。其主打生活服务类接口，主推基站、定位、地址解析、坐标服务等API，目前仅支持企业用户发布接口，因此接口的质量和稳定性有保障，但接口数量也是一个痛点。VIP级别以上用户可进行个性化定制，且有专人24小时技术支持，服务到位。

5、通联数据

通联数据提供行情、沪深股市/期权、债券、基金、咨询、研究报告等API，适合金融类应用和金融咨询网站、平台的开发者，以及从事金融行业的分析、业务人员。通联数据主要做金融大数据，上千的数据接口可以满足金融行业的大部分需求。

数据有API和研报两种格式，接口来源于自主研发或恒生聚源、九次方大数据、华通人、朝阳永续、中诚信资讯、巨灵财经等企业。

6、数说聚合

数说聚合跟上面的数据API不同，面向的客户不只是大数据应用开发者，对互联网数据有强烈需求的各行业分析师、业务人员、运营人员同样可以通过数说聚合拿到你们想要的数据。数据覆盖范围广泛，包括国内社交、新闻、电商、互联网垂直领域等多平台多维度的数据。用户可以通过接口调用、文件下载等方式获取数据。接口完全自主研发，质量、稳定性十分有保障，且支持个性化定制。

不过目前只面向企业用户，个人用户想要使用可能还需要一段时间。

7、Datasift

Datasift的性质与数说聚合相似，其数据基本覆盖国外主流网站，包括Facebook、Tumblr、Google+、YouTube、Instagram等，且提供数据分析服务。来源于国外站点的数据质量较好，不过可能是服务器在国外的原因，响应会有明显的延迟；而国内站点数据的话，小编曾经在datasift购买微博数据（当时在国外无法通过国内公司购买微博的数据），数据质量只能说一般。

其业务目前暂未向国内市场开放，只能通过特殊途径购买。

以上是国内外比较知名的数据API产品，基础性的可能更多会选择百度APIStore、聚合数据、Haoservice；而对于行业、专业有特别需求的用户来说，通联数据、Apix会使不错的选择；如果是需求国内社交、电商、资讯平台的数据，可以考虑数说聚合；如果是要国外数据，小编则比较推荐Datasift。读者可根据自身的需求，选择最适合的API。

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

近日，新华三集团在“H3C Navigate 2017”领航者峰会上发布了大数据系列产品数据引擎1.0，正式进军大数据行业，并提出“要做国内最好的大数据平台”的目标。

自从2016年5月成立以来，新华三的战略布局始终聚焦一个“新”字。在计算、网络、存储为主的传统IT架构基础上，新华三提出了“三大一云”的新IT战略，要做融合了大数据、大安全、大互联和云计算在内的全方位一站式服务提供商。

那么，作为其战略核心的大数据业务定位是什么？核心竞争力与战略规划又是什么？从趣味科技对新华三集团副总裁、大数据产品线总裁孙德和的采访当中，我们可以细细解读新华三大数据业务在战略、打法和产品上的独特之处。

定位全行业的大数据服务平台

目前国内做大数据业务的公司已达数千家，包括各类软件商、平台商、工具商，但是大部分还局限于互联网。针对行业客户的海量结构化、非结构化数据的专业服务，则为数不多。

新华三大数据业务的定位非常清晰，就是做大数据平台和数据服务，服务范围是全行业。相比应用开发和硬件，做平台对企业技术实力要求很高，需要庞大的研发团队，需要对技术、研发的长期持续投入。“未来，做平台一定是有实力的公司才能参与竞争，而新华三有这个实力。”孙德和说道。

在技术研发方面，新华三实力不容小觑。据了解。此次领航者峰会上发布的大数据产品，前期的研发周期已经运作了2-3年，并且已在多个行业收获了成功实践的案例。

ISV策略：聚焦细分行业TOP3

做平台，关键在于对行业客户及产品有充分的了解并满足其需求。开放平台的定位，决定了新华三的大数据业务与ISV（应用开发商）有着很强的互补关系。“新华三的平台就是把新IT的技术架构，包括云的架构，一直到大数据服务平台形成一个大的平台。将来的应用合作伙伴可以基于我们的平台，再基于客户的需求去开发应用。”孙德和介绍道。

新华三的大数据战略是跟细分行业的领先应用开发商进行合作。TOP ISV显然更懂行业客户的业务逻辑，能够满足客户的需求。新华三负责利用大平台的规模化优势，做行业共性的数据服务。接下来，为客户定制专业化的应用就交给各个ISV合作伙伴。

H3C Data Engine数据引擎1.0

此次新华三发布的数据引擎1.0产品Data Engine，包括了基础计算平台、数据服务（智能化数据采集和处理）、创新应用开发平台以及数据视觉引擎等核心组件。其中，创新应用里涉及人工智能的部分功能，包括深度学习、机器学习等，旨在帮助应用开发商构建基于大数据、基于人工智能的应用。

不久前，在全国信标委大数据标准工作组主持的全国首次大数据系统通用规范测试中，Data Engine以最短的耗时通过了全部71项测试用例，从几十家申请测试的大数据产品中脱颖而出。测试中，Data Engine展示了其支持单集群100节点、数据量超过1PB以及内外网隔离的大数据服务能力。

据透露，新华三的大数据平台已经得到了政府、公安、教育、医疗等各行业客户的青睐并被广泛应用。

在孙德和看来，丰富的产品线、覆盖最广的IT销售体系、广泛的行业客户群和优秀的产品平台，是新华三大数据业务的核心竞争力，也是做国内最好大数据平台的信心所在。

遍布全国的新IT版图

目前，新华三“三大一云”的IT版图已经初步完成，包括坐落在郑州的大数据公司，落在成都的云计算公司和合肥的大安全公司。郑州大数据中心以研发为主，预计规模将达到800-1000人，将为客户提供整合交付的数据服务。

随着城市化的加速和大数据产业的发展，数据已经成为国家重要战略资源之一。在打造数字化城市、新型的智慧城市的进程中，新华三已经做好了准备，希望通过大数据平台构建城市数据引擎，融合高校、企业、政府的资源，共同围绕着城市的一些关键业务问题去开展课题研究。

根据中国信息通信研究院的调研测算，2016年我国大数据核心产业的市场规模达到168亿元，增速达44.9%，预计2017-2018年还将维持40%左右的高速增长。

在互联网、C端大数据和公有云蓬勃发展的同时，如何满足行业客户的大数据需求，是目前阶段大数据产业发展的重点。新华三瞄准行业大数据这个契机，以大平台的定位切入，为大数据产业上下游打造了一个开放共赢的数据生态。

1数据星河大数据平台

全球首款大数据产业链生态平台，大数据界的App store。

实现数据模型、可视化引擎工具、应用场景、采集爬虫工具、清洗脱敏工具、数据分析平台、数据开发平台、数据管理平台、数据安全组件等大数据资产的分类展示、检索和使用。

一站式服务，快速实现大数据应用设计，同时可在平台进行应用产品交易。

2大数据可视化平台

标准的、友好易用、具备丰富展示形式、与底层数据分析实现解耦。

提供丰富的专业级可视化图表组件，在线进行图表配置、导出，提供使用指导。

提供可视化产品工厂，以及Dashboard自定义布局。

具备可视化编程能力，供用户快速开发可视化图表应用。

3企信宝APP

拥有约9000万海量企业信息数据。

提供失信企业及失信人查询及公布失信榜单，全国各企业查询，股东高管数据挖掘，企业网站地址查询，企业风险信息监测。

4农业大数据平台

涵盖农业监测预警大数据平台、农产品全产业链追溯预警大数据平台和农业产业链企业信用大数据平台。

覆盖农林牧副渔各行业，贯穿农业生产经营管理服务全过程。

目标群体包括部级农业部门、地方农业部门、涉农企业、农业金融机构等。

5金融大数据——54个九宫格小场景

九宫格应用场景包含四大类别，分别是基础数据库类、决策类、预测类、预警类，基础数据库类场景满足客户对基本数据的查询，决策类场景助理用户根基数据分析得到的价值信息进行有效决策，预测类场景便于用户对于潜在的风险及时规避。同时，用户可以根据自身需求进行场景化自定义组合，以满足个性需求。

6工商大数据平台

包括工商大数据分析展示、企业信用信息大数据监管和市场主体全景谱图大数据分析服务。

一网、一库、一中心、一平台、一门户，提升工商公共服务能力、市场监管能力、辅助决策能力和助推发展能力

7食药监大数据平台

对食品、药品、餐饮、中药材的生产、仓储、分销、物流运输、市场巡检及消费者等信息，以及产品名称、执行标准、配料、生产工艺、标签标识等数据，进行采集、跟踪、分析。

使监管部分实现产品种养、生产、销售、流通、公众服务、物流等环节的整个生命周期的监管

通过互联网等途径，实时呈现给消费者，实现食品药品全过程的全知晓。

8旅游大数据平台

显示最直观的客源、客流、经济收入数据、履约企业运营趋势、市场景气指数等指标。

管理部门可以从宏观角度了解地区旅游产业的整体发展水平和竞争力，辅助管理者制定基于大数据的行业发展决策。

所有数据来源于近五年累计数据（2011-2017），每周更新。

9民意云大数据平台

从海量的数据中分析民意诉求，精准分析民意热点——这是大数据在服务民意诉求中的重要作用。九次方民意云大数据平台，通过提供大数据操作台，方便用户实时全面了解区域内民意变化，根据推送消息进行应急反应。

10传播力监测大数据

根据全网采集的文章标题、作者、来源、时间等信息，计算文章的规范被转载量、非规范被转载量、以及文章的影响地域分析，并将各指标进行加权算法，帮助没提了解具体文章的全网传播详情。

协助监管部门加强没提传播监管和提升媒体机构的传播咯、公信力、影响力和引导力。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧