图片来源：视觉中国

“在网上放求职信息，都能引来业务员骚扰。”

有不少网友在社交平台上抱怨说，如果不小心在网上填写了个人信息（尤其是手机号），最先接到的总是保险、地产、金融、汽车等业务人员的短信或来电。

因此，不厌其烦的网友开始重视保护个人隐私信息，在一些平台的注册信息中，能放邮件就不放手机号码，能填姓氏绝不填全名。

这就导致了在互联网上获取用户个人信息的成本变得越来越高。甚至连非法贩卖用户资料的“灰产”，单条信息的交易价格也越叫越高，让众多业务（销售）人员望而却步。

“有应用软件宣称能抓取用户信息和消费行为。”从事汽车销售的读者张旭（化名）告诉懂懂笔记，为了完成公司的业务考核，公司有个别同事，都不惜花了大价钱，从“灰产”手里买了一套这样的“神软件”。希望找到更为精准的个人信息，用于业务推销。

而且这款软件只需单次付费，买断之后系统将自动抓取并提供用户信息。甚至可以根据所需行业方向，帮助业务员筛出有用的目标客户源。

那么，这样一款“神软件”，真的能为处于信息获取困境中业务员们，带来低成本的客户资料吗？

几千元就能实现用户数据抓取？

“做业务的，过去上网找信息，现在上网找捷径。”

张旭在过去三个月里，仅为4S店卖了四台车，距离公司所要求的考核指标，还差一半有余。这让他感到压力颇大，毕竟两个季度完成不了既定指标，就要自动离职了。

偶然的机会，他在某搜索引擎上键入了“大数据”一词。搜索结果排名第二的一条广告，深深吸引住了他。他告诉懂懂笔记，广告上说，这家机构所销售的一款大数据软件，能够获取用户姓名、手机号码等信息。

“关键是不贵，6900元就能终身使用。”张旭表示，与在互联网上付费注册平台高级账户获取用户信息，或自费从“灰产”那儿购买客户资料相比，软件几千元的价格的确很诱人。

况且机构还宣称，他们并非是简单卖资料的“灰产”，而是“授人以渔”，帮助业务员不断挖掘客户消费行为的“大数据”团队。

只不过，张旭并没有被宣传和价格冲昏头脑。而是精明的联系上了机构客服，要求提供测试版本，先让他试试所谓“资料”的真实性，再考虑是否购买软件。

“他给拍了一段带有用户资料的视频，演示的同时把我的‘姓名’和演示时间写了张纸条放在屏幕边上，以证真实。”通过客服提供的姓名与手机号码，外加部分消费记录，张旭尝试联系了用户。

然而，让他感到喜出望外的是，这些资料上的信息，基本都对得上。甚至消费记录也是真实的，其中有不少还是财大气粗的炒房客。对于公司刚上市的新车，也有用户表现出了浓厚兴趣。

“连续测试了十几个用户，除了一个关机以外，其他都是真的。”张旭告诉懂懂笔记，这些资料让他看到了达成季度考核目标的希望。为了避免上当受骗，他要求对方使用货到付款的方式，向他邮寄预装了该软件的笔记本电脑。

据他透露，倘若这样一套“大数据”系统真像测试中那么好用的话，那么每个月将帮他节省将近3000元的资料开销费用，这部分费用对于销售人员来说，都是自费的，公司并不承担报销。所以仅需两个多月时间，他就能赚回整套软件的成本。

有从事销售工作的网友表示，做业务最繁琐的工序，是用户资料的检索。要在大量资料中，筛选出有用的、潜在客户信息，并非是一件容易的事。因此，这样一套带有检索、筛选功能的信息系统，的确能够吸引销售人员的关注，甚至被“大数据”一词唬得服服帖帖。

只不过，几千块钱真的可以买来如此实用的“大数据”吗？

数据造假不断，资料滥竽充数

“机构说，很多地产、保险、金融销售，都在用这套产品。”

拿到系统之后，张旭就迫不及待照着机构所提供的教程，用了起来。他告诉懂懂笔记，系统中，除了有他所需要的大量车主信息之外，还有许多投资客户、地产业主、高消费人士的个人信息，而且每隔半个小时，系统都会新增一批刚刚“抓取”到的资料。

“很多用户的确是老车主了，区域也都锁定在广州、深圳、东莞等地区。”他说，作为汽车销售而言，若能够知道车主爱车年限，就能有的放矢的向他们推销新车，尤其是使用年限超过八年的合资车车主，置换、购买新车的可能性更高。

甚至可以向部分业主、炒房客、金融从业人士推销高端豪华车型，成功率也有一定的保障。通过近期的消费记录，还可以知道这些潜在客户群的兴趣、爱好。并在沟通过程中，做到有的放矢。

只可惜，就在张旭拿到这套“大数据”系统几天之后，系统上所抓取更新的个人信息，似乎和他开起了玩笑。要么出现手机号码空号，要么就是用户资料与手机号码对不上，要么就是所谓的消费记录子虚乌有。

“一开始以为是偶然事件，后来发现，十条资料，有九条都是错的，仅剩的一条信息内容还不全。”这让他很是担心，于是找到了客服，想一问究竟。而得到的答复是，近期系统升级，数据会有一定的偏差。

等待了好几天之后，数据终于恢复了一定的准确率，但内容却水得很。张旭告诉懂懂，他甚至打过一批号码，接听的人全操着方言，说话间骂骂咧咧。因此，他开始怀疑，系统是用农民工的资料在滥竽充数。

“结果，找客服也不回了，头像一直黑着。”当他重新到网上查看该机构的推广网页时，却发现显示着404，什么内容都被撤去了。无奈的他，只能自认倒霉。

但让他更意想不到的是，上周在公司无意提起这件事情时，发现近期被类似“大数据”系统忽悠的销售同事，并非少数。甚至连驻点4S店里的保险业务员，也是其中之一。最惨的一位同事，被骗去了一万多块钱。

虽然大数据能够方便机构、商家了解用户需求，及时做好营销策略的调整。但这群一心想要走捷径的销售人员，却被不法机构摆了一道。说是“授人以渔”，结果却连“鱼”都没捞到。

那么，类似抓取用户资料、消费行为的软件，是否真实存在呢？

大数据、智能化，都只是“灰产”的新幌子

“其实是有的，但获取成本不会这么低。”

就此懂懂笔记咨询了相关专业人士。从事用户消费行为研究的Chris表示，这一类隐私、行为数据，普遍存在于商家会员管理系统、应用App数据库、用户所使用的手机中。

因此，想要得到这些数据，要不就向商家、应用商非法购买，要不然就只能采取黑客手段，攻入系统、应用数据库，以及用户所使用的手机，通过写入病毒程式，盗取相关的资料条目。

“这两种可行的行为，都有一定实现难度，而且都是违法的行为。”Chris告诉懂懂笔记，即便是商家、应用商本身，拥有合法的用户数据内容，也是需要经过仔细的筛选，分类之后，才能够进行较为精准二次营销或推广业务，工作量十分庞大。

不然的话，商家也就不需要第三方的用户数据分析机构，协助参与数据归类与判断了。而在看过张旭所提供的所谓“大数据”抓取系统之后，他却笑趴了，直呼这简直是交了一笔“智商税”。

“根本不是什么智能系统，就只有表单读取功能。”Chris说，这个系统并不具备自动抓取功能，其所显示的大量用户数据库，都只是读取远程服务器地址中的一套文件罢了。

机构将远程服务器中的文件进行更新替换，系统就会显示读取的新资料，让张旭他们误以为真的有及时“更新”的功能。这全是骗子的障眼法。等赚了一定数额的钱之后，骗子就会立即停止更新，溜之大吉。

那么，张旭一开始那些百试百灵的电话号码，又是来自哪里？Chris怀疑，那些提供给买家测试的电话号码，有可能来自“灰产”机构，甚至出自部分金融、汽贸、地产企业中“内鬼”的手。

而他更加大胆的猜想是，这些号码有可能就是骗子自导自演的骗局，接听电话的，都是可以安排的“自己人”。这样一来，无论张旭如何测试，这些信息都会是正确的，“真实”的。

这也就不难理解一开始在测试的过程中，居然真的有“用户”对张旭所推销的新车业务感兴趣了。Chris补充说，“如果这系统真能抓取行为数据的话，那么机构大可不必贱卖几千元，光做推广都发财了。”

AI领域有这么一句话：好算法真不如好数据。如果放到销售领域来讲，那么应该是得数据者得客户。随着用户对于隐私信息的重视，数据“灰产”的日子也并不好过。

除了互联网上，那些被反复加工过的，烂大街的个人信息之外，“灰产”们很难寻找到新的突破口，直接卖裸数据、赚取差价的方式也变得越来越难。

因此，大数据、高科技、智能化就都成了“灰产”甚至“黑产”们实现“业务”包装的新幌子。营销机构、销售人员对于用户个人信息的需求，更是让骗子们钻了空子。

想做好营销，做好生意无可厚非。但产品、服务缺乏应有的内功，光靠买用户资料，其实并不现实。也希望“张旭们”以此为戒，切勿盲目相信“捷径”的存在。

在这个数据时代，对于大数据，应该没有多少人会感到陌生。不过非技术人员对于大数据的各项流程可能没有很清晰的认知，尤其是对大数据的基础实现步骤中的大数据开发的难度，更是一头雾水。

在此，小编为大家总结一下大数据开发的难点。

大数据的开发主要分为四个阶段：数据采集、数据汇聚、数据转换和映射、数据应用。四个阶段中，每个阶段都有它的难点。

数据采集

数据采集分为两种，一种是线上采集，一种是线下采集。程序员一般是以线上采集的方式进行数据采集，他们一般是通过爬虫以及抓取，或者通过已有应用系统的采集。在这个阶段中，依托python或者nodejs制作的爬虫软件，使用ETL工具或者自定义的抽取转换引擎，编造一个大数据的采集平台，从文件、数据库、网页等专项获取数据。

数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。将他们规整的、有方案的整理进大数据流程中也是必不可缺的一环。

数据汇聚

数据汇聚这一阶段可以说是整个大数据流程中最为关键的一环。在这个阶段中，可以对数据进行标准化，可以对数据进行清洗与合并；还可以将数据进行存档。在将确认可用的数据经过监控流程，进行整理归类之后，产出的数据便是企业的数据资产。

而数据汇聚的难点在于如何将数据标准化，例如表名标准化、表的标签分类、表的用途、数据的量等。

数据转换和映射

在数据汇聚之后，接下来就需要考虑，汇聚产出的数据资产该如何提供给其他企业使用？数据该如何应用？这时候就需要将数据资产中的数据表转换成能够提供服务的数据。

这一阶段的难点与数据汇聚的难点类似，不过相对简单一些。

数据应用

这个阶段相对于前三个阶段来说，是相对简单的一个阶段。数据应用的方式有很多，主要分为对内以及对外。可以通过restful API提供给用户，或者提供流式引擎 KAFKA 给应用消费， 或者直接组成专题数据，供自己的应用查询。

难点在于，必须在前期拥有大量的数据资产。

除了这四个阶段中的难点之外，还有一个比较大的难点，那就是监控！开发人员在采集数据的过程中，要是没注意，大量采集数据，没有将无用的数据剔除，并且直连了数据库， 短期来看，这些问题比较小，可以矫正。 但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会被引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。

移动互联网时代，线上营销的主要输出端口大部分都是“精准粉丝”，这就是传说中的粉丝经济。

客源不精准、粉丝不活跃......随着线上营销发展深入，不少问题也接踵而至。

精准抓取！手机群控，是你精准引流的好僚机。

营销之前，先来筛选一波，先确定好产品营销的精准客源，这样才能打通销路。

手机微信群控，对于从事市场营销的企业来说，是一款必不可少的连接线上营销的助力工具。目前，手机微信群控系统不仅仅对有线上营销的企业有利，传统实体营销的企业想要转战线上销售，也可以选择手机微信群控系统——精准抓取大数据，精准引流解决客源问题。

手机微信群控系统，如何精准抓取大数据？

号码生成导入

全国省、市、运营商自动选取，多种方式选择号码资源，自动筛选手机号码，过滤开通微信手机号码。通过手机微信群控系统，可根据产品客户的属性、行业、性别等筛选条件，一键导入添加好友，获取精准客户，保障优质客户资源。

网站抓取导入

通过行业产品关键词搜索，进行全网号码抓取，对互联网大数据的分析，进行目标客户资源的精确。使用手机微信群控系统，将网站抓取的目标号码一键导入通讯录添加。

有了手机微信群控系统，不需要一个个打电话要微信，新时代的微信营销新模式，高效便捷！

目标社群导出

微信，作为国内最大流量的社交平台，很多和产品、行业相关的社群非常多。加到这些意向客户社群里，不能发广告也没事。

手机微信群控系统，嗅探目标社群群成员，一键导出批量添加，不需要手动操作一一添加等回复，自动智能操作更速度！

虚拟定位附近人

附近人功能也许对营销没有更好的效果，但是配以“虚拟定位”呢？

全国位置任意穿越，小区、写字楼、学校、高级会所等，都可以通过手机微信群控系统一键虚拟空间位置确定好。

如此一来，在完善好自己的微信个人号相关信息后，一键打开附近人，不说主动添加附近好友，对附近广告的辐射也是有很大作用的。主动添加、被动添加，都已经通过微信相关属性信息进行了一波精准筛选了。

手机微信群控系统，只需要1人，就可以同时管理最多100台手机进行营销和推广。同时具备智能客服方案，客服快捷回复、可以批量定量加人、发朋友圈，可对手机进行分组管理功能，另外可以对微信营销进行批量、流程化、精准的针对性推广，让客户无所遁形。

更直白的解释，手机微信群控可以：

降低营销成本投入、加大客源获取精准、提升营销工作效率。

移动互联网营销的好僚机——手机微信群控系统。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。ETL，是英文 Extract-Transform-Load 的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端，然后进行处理分析的过程。

用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。

数据采集位于数据分析生命周期的重要一环，它通过传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

由于采集的数据种类错综复杂，对于这种不同种类的数据。

我们进行数据分析，必须通过提取技术。将复杂格式的数据，进行数据提取，从数据原始格式中提取（extract）出我们需要的数据，这里可以丢弃一些不重要的字段。

对于数据提取后的数据，由于数据源头的采集可能存在不准确。

所以我们必须进行数据清洗，对于那些不正确的数据进行过滤、剔除。

针对不同的应用场景，对数据进行分析的工具或者系统不同，我们还需要对数据进行数据转换（transform）操作，将数据转换成不同的数据格式，最终按照预先定义好的数据仓库模型，将数据加载（load）到数据仓库中去。

大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：

在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。

如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是天猫双十一的成交额，在其展板上，我们看到交易额是实时动态进行更新的，对于这种情况，则需要采用在线处理。

当然，如果只是希望得到数据的分析结果，对处理的时间要求不严格，就可以采用离线处理的方式，比如我们可以先将日志数据采集到HDFS中，之后再进一步使用MapReduce、Hive等来对数据进行分析，这也是可行的。

在现实生活中，数据产生的种类很多，并且不同种类的数据产生的方式不同。

对于大数据采集系统，主要分为以下三类系统：

一、系统日志采集系统。

许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。

为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。

系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。

目前常用的开源日志收集系统有Flume、Scribe等。Apache Flume是一个分布式、可靠、可用的服务，用于高效地收集、聚合和移动 大量的日志数据，它具有基于流式数据流的简单灵活的架构。

其可靠性机制和许多故障转移和恢复机制，使Flume具有强大的容错能力。

Scribe是Facebook开源的日志采集系统。Scribe实际上是一个分布式共享队列，它可以从各种数据源上收集日志数据，然后放入它上面的共享队列中。

Scribe可以接受thrift client发送过来的数据，将其放入它上面的消息队列中。然后通过消息队列将数据Push到分布式存储系统中，并且由分布式存储系统提供可靠的容错性能。

如果最后的分布式存储系统crash时，Scribe中的消息队列还可以提供容错能力，它会还日志数据写到本地磁盘中。Scribe支持持久化的消息队列，来提供日志收集系统的容错能力。

二、网络数据采集系统。

通过网络爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方式从网站上获取数据。这样就可以将非结构化数据和半结构化数据的网页数据从网页中提取出来。

并将其提取、清洗、转换成结构化的数据，将其存储为统一的本地文件数据。目前常用的网页爬虫系统有Apache Nutch、Crawler4j、Scrapy等框架。

Apache Nutch是一个高度可扩展和可伸缩性的分布式爬虫框架。

Apache通过分布式抓取网页数据，并且由Hadoop支持，通过提交MapReduce任务来抓取网页数据，并可以将网页数据存储在HDFS分布式文件系统中。

Nutch可以进行分布式多任务进行爬取数据，存储和索引。由于多个机器并行做爬取任务，Nutch利用多个机器充分利用机器的计算资源和存储能力，大大提高系统爬取数据能力。

Crawler4j、Scrapy都是一个爬虫框架，提供给开发人员便利的爬虫API接口。开发人员只需要关心爬虫API接口的实现，不需要关心具体框架怎么爬取数据。Crawler4j、Scrapy框架大大降低了开发人员开发速率，开发人员可以很快的完成一个爬虫系统的开发。

三、数据库采集系统。

一些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。

除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。企业每时每刻产生的业务数据，以数据库一行记录形式被直接写入到数据库中。

通过数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻都在产生大量的业务记录写入到数据库中，最后由特定的处理分许系统进行系统分析。

针对大数据采集技术，目前主要流行以下大数据采集分析技术。Hive是Facebook团队开发的一个可以支持PB级别的可伸缩性的数据仓库。

这是一个建立在Hadoop之上的开源数据仓库解决方案。 Hive支持使用类似SQL的声明性语言（HiveQL）表示的查询，这些语言被编译为使用Hadoop执行的MapReduce作业。

另外，HiveQL使用户可以将自定义的map-reduce脚本插入到查询中。该语言支持基本数据类型，类似数组和Map的集合以及嵌套组合。

HiveQL语句被提交执行。首先Driver将查询传递给编译器compiler，通过典型的解析，类型检查和语义分析阶段，使用存储在Metastore中的元数据。

编译器生成一个逻辑任务，然后通过一个简单的基于规则的优化器进行优化。

最后生成一组MapReduce任务和HDFS Task的DAG优化后的Task。 然后执行引擎使用Hadoop按照它们的依赖性顺序执行这些Task。

Hive简化了对于那些不熟悉Hadoop MapReduce接口的用户学习门槛，Hive提供了一些列简单的HiveQL语句，对数据仓库中的数据进行简要分析与计算。

随着互联网的高速发展,网络给人们提供了前所未有的开放、便捷的信息共享与发布平台,越来越多的人通过网络来表达自己的意见、想法、情绪和态度,其中包括对事件的发展有着正面、积极作用的信息,也包括一些负面、消极的信息。同时,网络平台的开放性、直接性和隐蔽性使得网络舆论越来越重要地影响人们的意识形态。因此,对大量舆情信息的及时有效监控分析,对维护社会稳定、促进国家发展具有重要的现实意义。

基于大数据技术的深入研究与开发，青海省大数据有限责任公司推出互联网大数据智能舆情监测系统，该系统实现了从大数据时代下让政府能快速、全面、高效的应对舆情事件。

互联网大数据智能舆情监测系统优势

互联网大数据智能情监测系统功能

1

数据抓取全、快、广

监测范围覆盖网络新闻、新浪微博、腾讯微博、微信公众号、平面媒体电子版、论坛、博客、问答、视频网站等各类媒体类型。

平台覆盖20万个站点，对所有主流网站10分钟完成一次采集，实现实时抓取。

平台支持采集最有影响力的40个移动新闻客户端。

2 数据筛选准确

3 多维度、可视化数据分析

专有的企业传播统计数据，提供媒体行业、 地域及影响力排行等独家数据，帮助企业的量化评估传播效果。

标准化、多维度、数字化、可视化的数据分析平台，方便生成、导出各类数据及图表、支持多品牌、事件的比较分析。

舆论维度分析项有：关注度、影响力、正负面、媒体分布量等。

4 监测维度多

5 信息推送快

系统：通过互联网，您可以随时访问舆情监测平台，获取最新、最全的网络舆情监测服务。

预警：最普遍、 最便捷的服务方式。 支持网页邮件，支持超大附件。

报告：专业行业分析师辅助提供相关日报、周报、月报，方便客户对不同时段的重点和热点进行把握。对于突发事件提供详细的事件专题分析报告，对事件舆情数据进行有针对性的解读。

6 监测及时，更早发现

7 简洁实用、易于操作

案 例

实现价值

利用独有的分布式网络采集技术，对互联网上舆情相关数据源进行完整采集，同时根据用户预定的监控关键词对全网数据进行补充获取。并可以在很短时间内收录到国内外重要网站、论坛、微博、微信公众号、贴吧、博客等互联网开放平台的相关信息，通过中文智能分词、自然语言处理、正负面研判等大数据处理技术对收录到的信息进行处理,发现涉及到用户的舆情信息,及时通过手机客户端、电子邮件、私信等方式进行预警服务，为政府或企业提供决策辅助。来源：青海省大数据有限责任公司

日前，我市试运行“网络订餐监控大数据抓取分析监管系统”。

随着“互联网+”时代的到来，网络订餐成为一种普及率高的点餐形式。百度外卖、饿了么、美团外卖等互联网餐饮外卖平台迅猛发展。

据不完全统计，目前全市已有5000余家餐饮服务单位进驻三大网络订餐平台运营，在给市民生活带来便利的同时，无证、套证、借证、无实体店参与网络订餐经营乱象频发，食品安全风险更加隐蔽，急需加强规范、监管。在此背景下，市食药监局在全省率先开发、试点运行“网络订餐监控大数据抓取分析监管系统”。

该系统运用大数据采集和图片识别技术，24小时自动采集、保存和识别网络订餐平台所有目标商户的经营信息（营业执照、许可证、店铺名、地址、经营餐品、销量等要素），自动与监管部门证照许可信息进行比对，通过系统分析筛查未按规定公示证照、无证经营、超范围经营、一证多用等违法违规行为，定期形成报告，有针对性地开展规范治理，实现了用智能化的技术手段监管的目标。

大家都在看

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。