|本文由好程序员特训营编辑

|作者：好程序员

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

欢迎关注【“好程序员”百家号】高端IT教育--从平凡到卓越 为梦想而拼搏

大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。ETL，是英文 Extract-Transform-Load 的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端，然后进行处理分析的过程。

用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。

数据采集位于数据分析生命周期的重要一环，它通过传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

由于采集的数据种类错综复杂，对于这种不同种类的数据。

我们进行数据分析，必须通过提取技术。将复杂格式的数据，进行数据提取，从数据原始格式中提取（extract）出我们需要的数据，这里可以丢弃一些不重要的字段。

对于数据提取后的数据，由于数据源头的采集可能存在不准确。

所以我们必须进行数据清洗，对于那些不正确的数据进行过滤、剔除。

针对不同的应用场景，对数据进行分析的工具或者系统不同，我们还需要对数据进行数据转换（transform）操作，将数据转换成不同的数据格式，最终按照预先定义好的数据仓库模型，将数据加载（load）到数据仓库中去。

大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：

在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。

如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是天猫双十一的成交额，在其展板上，我们看到交易额是实时动态进行更新的，对于这种情况，则需要采用在线处理。

当然，如果只是希望得到数据的分析结果，对处理的时间要求不严格，就可以采用离线处理的方式，比如我们可以先将日志数据采集到HDFS中，之后再进一步使用MapReduce、Hive等来对数据进行分析，这也是可行的。

在现实生活中，数据产生的种类很多，并且不同种类的数据产生的方式不同。

对于大数据采集系统，主要分为以下三类系统：

一、系统日志采集系统。

许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。

为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。

系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。

目前常用的开源日志收集系统有Flume、Scribe等。Apache Flume是一个分布式、可靠、可用的服务，用于高效地收集、聚合和移动 大量的日志数据，它具有基于流式数据流的简单灵活的架构。

其可靠性机制和许多故障转移和恢复机制，使Flume具有强大的容错能力。

Scribe是Facebook开源的日志采集系统。Scribe实际上是一个分布式共享队列，它可以从各种数据源上收集日志数据，然后放入它上面的共享队列中。

Scribe可以接受thrift client发送过来的数据，将其放入它上面的消息队列中。然后通过消息队列将数据Push到分布式存储系统中，并且由分布式存储系统提供可靠的容错性能。

如果最后的分布式存储系统crash时，Scribe中的消息队列还可以提供容错能力，它会还日志数据写到本地磁盘中。Scribe支持持久化的消息队列，来提供日志收集系统的容错能力。

二、网络数据采集系统。

通过网络爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方式从网站上获取数据。这样就可以将非结构化数据和半结构化数据的网页数据从网页中提取出来。

并将其提取、清洗、转换成结构化的数据，将其存储为统一的本地文件数据。目前常用的网页爬虫系统有Apache Nutch、Crawler4j、Scrapy等框架。

Apache Nutch是一个高度可扩展和可伸缩性的分布式爬虫框架。

Apache通过分布式抓取网页数据，并且由Hadoop支持，通过提交MapReduce任务来抓取网页数据，并可以将网页数据存储在HDFS分布式文件系统中。

Nutch可以进行分布式多任务进行爬取数据，存储和索引。由于多个机器并行做爬取任务，Nutch利用多个机器充分利用机器的计算资源和存储能力，大大提高系统爬取数据能力。

Crawler4j、Scrapy都是一个爬虫框架，提供给开发人员便利的爬虫API接口。开发人员只需要关心爬虫API接口的实现，不需要关心具体框架怎么爬取数据。Crawler4j、Scrapy框架大大降低了开发人员开发速率，开发人员可以很快的完成一个爬虫系统的开发。

三、数据库采集系统。

一些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。

除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。企业每时每刻产生的业务数据，以数据库一行记录形式被直接写入到数据库中。

通过数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻都在产生大量的业务记录写入到数据库中，最后由特定的处理分许系统进行系统分析。

针对大数据采集技术，目前主要流行以下大数据采集分析技术。Hive是Facebook团队开发的一个可以支持PB级别的可伸缩性的数据仓库。

这是一个建立在Hadoop之上的开源数据仓库解决方案。 Hive支持使用类似SQL的声明性语言（HiveQL）表示的查询，这些语言被编译为使用Hadoop执行的MapReduce作业。

另外，HiveQL使用户可以将自定义的map-reduce脚本插入到查询中。该语言支持基本数据类型，类似数组和Map的集合以及嵌套组合。

HiveQL语句被提交执行。首先Driver将查询传递给编译器compiler，通过典型的解析，类型检查和语义分析阶段，使用存储在Metastore中的元数据。

编译器生成一个逻辑任务，然后通过一个简单的基于规则的优化器进行优化。

最后生成一组MapReduce任务和HDFS Task的DAG优化后的Task。 然后执行引擎使用Hadoop按照它们的依赖性顺序执行这些Task。

Hive简化了对于那些不熟悉Hadoop MapReduce接口的用户学习门槛，Hive提供了一些列简单的HiveQL语句，对数据仓库中的数据进行简要分析与计算。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

在工业大数据领域的从业者有很大一部分是传统IT从业人员，对于工业控制协议比较陌生，因此再做工业大数据采集时，对于各类工业协议有时容易搞不清楚，我简单把在做工业大数据采集时常见的几种工业协议整理了一下，以便搞清这些工业协议的概念和区别。

为了容易理解，我把常见的工业协议按照OSI（Open System Interconnect）参考模型分到了不同层次，注意，这只是为了容易理解和区分各类协议，实际上，随着各种协议的发展，很多自身都跨越了很多层次，能够实现多层协议的功能，我们做的划分只是它最重要的功能所处的协议层。

接下来，按照从低到高的顺序，介绍一下上面图中这几种常见的工业协议。

1、RS232

在串行通讯时，要求通讯双方都采用一个标准接口，使不同的设备可以方便地连接起来进行通讯。RS-232-C接口是目前最常用的一种串行通讯接口。RS-232-C是美国电子工业协会EIA（Electronic Industry Association）制定的一种串行物理接口标准。RS是英文“推荐标准”的缩写，232为标识号，C表示修改次数（“RS-232-C”中的“-C”只不过表示RS-232的版本，所以与“RS-232”简称是一样的） 。。RS-232-C总线标准设有25条信号线，包括一个主通道和一个辅助通道。工业控制的RS-232口一般只使用RXD、TXD、GND三条线。通常 RS-232 接口以9个引脚 (DB-9) 或是25个引脚 (DB-25) 的型态出现，一般个人计算机上会有两组 RS-232 接口，分别称为 COM1 和 COM2。

2、RS485

随着企业信息化法发着的需要，企业在仪表选型时其中的一个必要条件就是要具有联网通信接口。最初是数据模拟信号输出简单过程量，后来仪表接口是RS232接口，这种接口可以实现点对点的通信方式，但这种方式不能实现联网功能。随后出现的RS485解决了这个问题。

485通讯接口一个对通讯接口的硬件描述，它只需要两根通讯线，即可以在两个或两个以上的设备之间进行数据传输。这种数据传输的连接，是半双工的通讯方式。在某一个时刻，一个设备只能进行发送数据或接收数据。而RS232是全双工，最少3条通信线（RX,TX,GND），因为使用绝对电压表示逻辑，由于干扰，导线电阻等原因，通讯距离不远，低速时几十米也是可以的。

在RS232或RS485设备联成的设备网中，如果设备数量超过2台，就必须使用RS485做通讯介质，RS485网的设备间要想相互通信息只有通过“主（Master）”设备中转才能实现，这个主设备通常是PC，而这种设备网中只允许存在一个主设备，其余全部是"从（Slave）"设备。而现场总线技术是以ISO/OSI模型为基础的，具有完整的软件支持系统，能够解决总线控制、冲突检测、链路维护等问题 。

3、CAN

控制器局域网CAN（ Controller Area Network）属于现场总线的范畴，是一种有效支持分布式控制系统的串行通信网络。是由德国博世公司在20世纪80年代专门为汽车行业开发的一种串行通信总线。由于其高性能、高可靠性以及独特的设计而越来越受到人们的重视，被广泛应用于诸多领域。CAN协议分为二层：物理层和数据链路层。CAN的信号传输采用短帧结构，传输时间短，具有自动关闭功能，具有较强的抗干扰能力。CAN支持多主工作方式，并采用了非破坏性总线仲裁技术，通过设置优先级来避免冲突，通讯距离最远可达10KM/5Kbps/s，通讯速率最高可达40M /1Mbp/s，网络节点数实际可达110个。

由于CAN总线本身的特点,其应用范围目前已不再局限于汽车行业,而向自动控制、航空航天、航海、过程工业、机械工业、纺织机械、农用机械、机器人、数控机床、医疗器械及传感器等领域发展。

老铁们，你们那里天气还好吗？

城市气温没到40度的朋友请不要回答，因为我们不熟。

合肥酷暑之下，小采只想空调西瓜WiFi。

然鹅，有那么一群人，总能静下心来搞数据。也许是为工作，也许只为消遣，不管出于什么目的能将采集玩的这么溜就很让人服气了。好啦，请开始你们的表演~

01

基金哪家强，爬爬就知道

爬取某个著名的财经网站的所有基金的数据。我们从基金首页，爬出所有基金的编号,基金名字和基金的url，共6500多值。

多线程取分别处理每一个基金网页的数据，解析每一个基金网页，我们希望提取以下基金的重要信息：

近1个月、3个月、6个月、1年、3年、成立以来的涨幅。

希望通过数据知道：

累计成立涨幅最大的基金

累计1年涨幅最大的基金

累计6month涨幅最大的基金

累计3month涨幅最大的基金

然后取个交集，看看有没有全能王，我们的投资是以稳健为主，稳子当头，涨多涨少不要紧，关键是要涨，而且稳那我们把成立以来，3年来，1年来，6month,3month,1month 看看有没有全都涨的，没有亏过的。当然我们还可以分析一下其他维度的数据，比如成立的时间，几星级好评的基金等等～找到最强基金根本不是问题，俗话说得好，人不理财，财不理你啊。

02

透过歌词 我看到了这样的周杰伦

爬取周董所有的专辑（从最开始的到最新的<周杰伦的床边故事>）歌词，啊，也不过才207K的txt ，然后对文件进行分词，发现了一些结论：

结论一：出现频率 top20 的词语，满满的都是文艺、伤感、爱情 ：

我们 / 怎么 / 没有 / 微笑 / 离开 / 爱情 / 回忆 / 不要 / 开始 / 如果 / 不会 / 已经……

（随机排列一下，是不是就可以模仿方文山写歌词了。）

结论二：杰伦喜欢妈妈胜过爸爸，喜欢外婆胜过爷爷以及外公（歌词中没有出现奶奶）

啊哦，听妈妈的话，外婆，爷爷泡的茶~~~

结论三：杰伦喜欢黑色、白色胜过其他颜色

结论四：杰伦最喜欢的语气词是oh~

总结：只是从歌词来看，大概杰伦就是一个穿着黑白帽衫，表面上酷酷的，但是骨子里满是深情、文艺， 喜欢喝爷爷泡的茶，听妈妈的话，爱外婆的 ，嘴里时不时地冒出一句‘哎呦，不错哦’ 的五好青年。

03

杜甫和李白是CP还是单相思？

唐代诗人之间的社交也蛮混乱，听闻杜甫非常喜欢李白，但李白却不太感冒，不如把唐诗全采下来分析一下唐诗人的社交究竟如何~

全唐诗数量太多，一共四万多首，还要调出每个诗人的别名（利用CBDB查找诗人的别名

CBDB由很多张表组成，每张表记录了人物的不同信息，我们只用到了其中两张表，人物的主要信息表：BIOG_MAIN和人物的别名表：ALTNAME_DATA）

最终是选取了七百多位著名诗人，然后来检查一下李白和杜甫之间的引用关系：

不错，杜甫确实写了12首与李白有关的诗，而李白则只有3首与杜甫有关的诗。

可怜的杜甫喜欢李白喜欢到做梦都想见的地步：三夜频梦君，情亲见君意（梦李白）。而李白呢，却向孟浩然表白：吾爱孟夫子，风流天下闻（赠孟浩然）。然而孟浩然的好基友则是王昌龄：数年同笔砚，兹夕间衾裯（送王昌龄之岭南），恩，还是诗人有情调~

04

1.6万部电影，华语电影烂片王竟是古天乐

某天，工作量不饱和，就在公司上网随便搜了部电影来看，本来还期待着看完能够为搬砖提供灵感，在把进度条拖了 11 次，朋友圈刷了 6 遍之后，我终于从故事中退了出来。

为了避免日后踩到更多雷人的烂片，我决定从豆瓣上把 2002 至 2017 年的电影信息都扒下来，扫一扫有哪些“雷区”。在对数据进行了清理后，我最终得到了一万六千多部电影来做数据分析。

为了找出“烂片王”，我把豆瓣评分在六分以下电影的演员提取了出来，并保留了每部电影的前四位演员(电影的主演不会太多，一般都是男一女一，男二女二)。

接着我又将出现在同部电影的演员进行组合，然后画出了出演最多烂片的演员的社交网络(前 50 位)：

结果很惊人，烂片演员的“王中王”竟然不是大家心目中的小鲜肉，而是古天乐!

我吓得赶紧回看数据，才发现，在这 16 年里，古天乐一共接了 60 部左右的电影，其中竟有一半是低于 6 分的，也就是说，古 Sir 的烂片产量已经达到了平均一年 2 部。

而他口碑最低的一部，甚至只有 2.9 分——2016 年的《封神传奇》，据说这是一部感动了其他烂片的神作。只能说他挑的电影眼光不太好。

看过了演员，我们再来看看导演。经过一番统计筛选，我挑出了烂片量 top 的导演：

“王晶”这个名字，已经成为了烂片指标物，以后看到这个名字，大家可以尽情躲开。

如果说王晶的表现有明显 flop 的话，那郭敬明倒一直是正常发挥，只要是他执导的电影，不要说 6 分了，上 5 分都难。

好片不常有，且看且珍惜。

05

中国姓氏大数据，看看你的本家

一份天朝公民的姓氏、年龄、籍贯数据整出的中国姓氏排行榜。我为这个排行榜设计了丰富的内容：普遍指数、抱团指数、奔波指数、装逼指数、风雅指数等。

普遍指数

普遍指数=姓氏人口数量

毫无悬念，“王”姓以占据中国人口8.1%的比例、接近1亿的人口总数，夺得了中国第一大姓、地球第一大姓、宇宙第一大姓的桂冠。

恭喜隔壁老王！

那么，老王们都在哪里呢？

除了老王，老张、老李也表现不俗，分获宇宙第二、第三大姓的荣誉。这三大姓加起来，估算约占据中国总人口的22%。总的来说，“王张李刘陈杨赵周吴徐”10大姓占据了中国总人口的43%；顺序不再是赵钱孙李周吴郑王啦~

抱团指数

抱团指数=各姓氏在各省分布的基尼系数。

研究结果表明，抱团指数最高、也就是空间集聚度最高的三个姓氏分别为：覃、麦、朴，三姓的基尼系数都在0.82以上，而且三个姓都是相对较小的姓。

装逼指数

装逼指数=名字长度在4字或以上的人口数量占该姓氏人口数量的比例。

严格来说，装逼指数最高的其实是“欧阳”和“诸葛”。但考虑到复姓和少数民族姓氏的逼格并不是装出来的，我们只好排除掉这些本来就很有逼格的姓氏，只看单字大姓TOP20的装逼情况：

风雅指数

风雅指数=名字中不包括“取名用字频率TOP1000”的人数占该姓氏总人数的比例。

风雅指数最高的10个姓为：

你是这些风雅姓氏的主人吗？如果姓氏不够逼格，取个逼格高的名字也是极好的。那就要注意了，千万别用下面这些字：

炎炎夏日，分享几个案例供大家消遣，大神们不妨启动手中的火车采集器，也来玩些趣味采集和分析，可能比他们更炫酷哦~

其实这种天气呀，想透心凉也不是没有办法的，你可以看看钱包，查查银行卡余额呀，你看看脸称称体重再想想自己的岁数呀~~

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。

因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？

什么是数据采集？

数据采集(DAQ)， 又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。

线上行为数据：页面数据、交互数据、表单数据、会话数据等。

内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

大数据的主要来源：1）商业数据 2）互联网数据 3）传感器数据

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

大数据采集新的方法

以博为软件101异构数据采集技术为例：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1. 无需原软件厂商配合；

2. 实时数据采集，数据端到端的响应速度达秒级；

3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5. 自动建立数据间关联，实施周期短、简单高效；

6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7. 配置简单、实施周期短。

优点：其优势在于不需要“接口”配合，这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时，不仅能节省大量时间、人力与资金，实现“一站式”完成；还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

缺点：只采集Windows平台的各软件系统数据

版权声明：本文部分来自网络，如有侵权，请联系删除!

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

对于大数据的理解

大多人还停留在很大的数据这一概念上

其实不然

大数据指的是存在于网络上的海量的信息碎片

通过类似云速数据挖掘这种先进的技术将其采集、整合、

从而发现隐藏于其中的关联信息

下面通过三个核心来解读什么是大数据信息采集

一、大数据营销是将所有营销行为和销售行为数据化

将这些可挖掘、整理的数据作为营销活动的核心部分

贴合需求打造符合市场及消费需求的商业模式、

二、大数据信息采集实现线上线下结合的网络营销时代

线上的营销活动不受时间空间限制

将线上数据与传统模式结合起来

打通数据库实现技术共享

将是未来营销工作的首要重点

三、大数据信息采集实现企业高效转化

大数据营销的核心意在大规模的个性化互动

指的是有针对性的传播内容

更加人性化的服务

而实现这以核心的基础就是大数据信息采集

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

尽管“大数据”一词近年来屡遭热捧

但很多人都还不知道什么是大数据

更不知道大数据有甚卵用

这两年，发现“大数据”这个词出现的越来越频繁了

不仅企业，连国家都在部署大数据战略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

还是没搞懂大数据到底是个什么玩意儿

直到有一天

我发现一个秘密

不管我在网上搜索什么

页面都会跳出我要搜索的相关产品或关联事物

然后，我恍然大悟！

所谓大数据，就是算法！

它能够“算”出我们“心中所想”

那么问题来了

大数据技术是如何采集到我们的信息的呢？

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头，麦克风，都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点：

一、数据采集的三大要点

（1）全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为，需要采集用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

（2）多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。

比如“查看商品详情”这一行为，通过埋点，我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

（3）高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么，接下来我们再来了解一下常用的数据采集的方法。

常用的数据采集方法归结为以下三类：传感器、日志文件、网络爬虫。

（1）传感器

传感器通常用于测量物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。

（2）系统日志采集方法

日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（3）Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

此外，对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做的很好。

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。