随着互联网时代的发展。大数据化时代的到来给很多企业带来本质的改变。在制造系统和商业环境变得日益复杂的今天，利用大数据去解决某些问题和积累知识或许是更加高效、便捷的方式。“大数据的目的并不是追求数据量大，而是通过系统式的数据收集和分析手段，实现价值的最大化。所以推动智能制造的并不是大数据本身，而是大数据的分析技术，”数据本身不会说话，也不会直接创造价值，真正为企业带来价值的是数据经过实时分析后及时地流向决策链的各个环节，或是成为面向客户创造价值服务的内容和依据。大数据技术的快速发展，也将用户的行为追踪变得更为便利。

大大神平台采用大数据庞大的用户基数和强大的数据处理能力，将需求方、供应方、资源方通过大数据技术全线打通。使得用户发布的软件需求平台可通过关键词利用大数据智能匹配出产品经理，让符合用户的产品经理从量级和精准度方面脱颖而出。 通过大数据分析精准了解需求者所想要做的软件一个领域和特点，并以此为依据，通过平台进行资源的精准匹配，并最终通过大数据分析精准细致的给出用户满意的效果。

智能匹配：

每一组数据和一个社会现象之间，都存在千线万缕的联系。比如，如果你所写的需求中多次出现商城类型的文字，大数据就会抓取多次出现的关键词，并通过各种数据模型的设计，去分析用户需求的所需要的是那一方面的产品经理。

抓住这一切入点，以“智能大数据”为核心驱动力，平台建立产品经理的专业领域标签、个人简介、擅长行业记录数据库，通过这些数据库预测需求者的所需。大数据时代让我们更容易获取对用户的洞察，当所有的行为和信息都被记下来以后，可能你所需要的产品经理可以被推荐和推荐平台上面的产品。大数据应用在个性化营销方面也可以让我们生活得更轻松。解决电商营销中“如何将推广信息与目标消费匹配”的行业难题。

大数据不仅可以实现需求和资源最简便的对接，实现丰富的智慧流通方式，还可以用更少的精力和成本，获得更优的闲置资产盘活和消费投资效果。

苹果征收32%的服务费，“掏空”了中国自媒体人的发财之路，被骂“吃相难看”。

在这场“燕过拔毛式”的打赏抽成中，很多人都说苹果迟早会自己挖坑把自己埋了，但现实是......

苹果活的很好，并且非常强硬。92%的用户忠诚度牢牢的占据着智能手机市场的半壁江山。

而反观嘲讽苹果的“各位客官”，只想说，中国互联网江湖的道德讹诈太多，以至于很多人都忘了这就是赤裸裸地商业竞争。

尤其是现在，除了微信还牢牢坚守阵地，包括今日头条、知乎等平台，早已缴械投降。

那么，这些公司就真的这么“缺心眼”，乖乖的上交了32%的服务费？

傻的可不是这些企业，而是这么想的人！

要知道今日头条和知乎，都是目前中国互联网领域“顶呱呱”的企业，他们宁愿出钱也不愿放弃苹果市场，恰巧证明了他们对苹果系统所负载的庞大用户资源和技术资源的认可。

苹果手机安全封闭的操作系统，保证了用户不会从APP STORE里下载到一款带着植入软件、木马病毒的应用。IOS系统所拥有的丰富应用也都是目前安卓系统手机所无法比拟的。

作为一家技术创新型企业，苹果称霸江湖，靠的是创新和技术。而反观中国的手机品牌，绝大多数应用都是从“借鉴”起步，尽管现在中国自主品牌手机的功能很多，但大多应用的功能都大同小异，缺乏创新精神。因此要想让用户放弃用苹果系统，着实是有些为难啊！

那么，中国真的就没有创新企业了吗？倒也未必，尤其是在国内新经济、新业态的形式下，如今具代表性的互联网企业都在尝试着创新。

以盘石为例，盘石研发独立研发的盘云大数据管理平台（AdYun）、龙盘推广投放系统（YunDMP）、龙媒媒介联盟中心(YunMedia），都是“杠把子”级别的创新成果。尤其是盘云大数据管理平台（AdYun），依靠在全球架设的三千架服务器，每天可抓取10T的用户大数据。

盘云大数据管理平台服务器遍布全球

龙盘广告投放系统（YunDMP）

龙盘推广投放系统

龙媒媒介联盟中心部分合作伙伴媒介示例

要知道1TB就是一万亿个字节，1个汉字2字节，按常用格式存储的文件，1TB的书籍，也要有5百亿个汉字。按1秒钟读10个汉字计算，也需要50亿秒才能读完。

一年约31536000秒，结论是：不吃不喝不睡，至少要用158年才能读完。所以如果是10TB.......

只想说——给盘石36个赞，都不怕他骄傲！

当然，作为一家有追求、有梦想的企业，盘石的创新精神也不止于此。要知道大数据资源要“用之有道”才有价值。

盘石精准营销系统目前拥有数十万家网站、数万个APP和WAP端资源。在这些优质媒介资源中，企业主可以根据潜在用户过往大数据记录，定制推广计划并不断优化，从而获得精准客户。

龙媒媒介联盟中心36大垂直行业

2014年，盘石更是针对海外市场推出了“全球移动联盟推广平台RockyMobi”，帮助中国企业走出国门，自立自强。

全球移动联盟推广平台RockyMobi

因此，对中国互联网企业而言应该拥有更高的格局和视野，通过自身不断的技术和模式的创新，提高自身的竞争力，能够在未来拥抱全球市场和全球新经济中，有能力去和类似“苹果”这样的巨头同台对垒，获得市场话语权。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

曾经，有这样的创业公司，关于医疗数据方面的，投资人问他，你的初期数据是如何获取的？

项目负责人是这样回答的，我去医疗机构买啊。

很显然，这是一个从技术想象医疗行业的典型例子。

如果是一个在临场一线的医疗公司，来谈医疗数据来源问题，他至少可以自己解决一部分数据，而不是第一时间想去买。

获取健康数据的成本是比较高的，不像那些信用卡公司。

人体的健康数据，按照现代医学的标准，是非常庞大，非常立体的，从头到脚，从皮表到五脏六腑，到骨骼骨髓，血液，尿液，DNA测序信息，等等等等。

很多人估计不明白，就算是一般的医疗机构，对自己的医疗数据，恐怕也不是很相信，更不要谈运用价值了。

有些经验的，应用非常窄，所以健康医疗数据项目的切入点，往往都不能做的太宽，凭想象，面面俱到是很难进行的。

无论拥有多么庞大的计算机优势，必须是一个基于医疗的团队打底，是健康医疗数据公司的基本要求。

不然，一群AI精英，在想象医疗，估计就是推倒重来，场面很壮观，实现起来，又是很遥远的。

不要以为阿法狗可以下围棋，就代表着人工智能可以洗衣服做饭了。

无人驾驶，最近出车祸的频率，还是需要关注一下，不喝酒的司机也会乱开车的。

那么，对中小初创的健康数据公司，最大的忠告是，踏踏实实自己收集数据，在做好切实可行有效的服务之后，总结出来自己的模型。

这不是餐饮行业，也不是信用卡公司，这是为人体健康服务的数据公司。

关注谦和解决智能中医，关注中医体质分析项目。

尽管“大数据”一词近年来屡遭热捧

但很多人都还不知道什么是大数据

更不知道大数据有甚卵用

这两年，发现“大数据”这个词出现的越来越频繁了

不仅企业，连国家都在部署大数据战略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

还是没搞懂大数据到底是个什么玩意儿

直到有一天

我发现一个秘密

不管我在网上搜索什么

页面都会跳出我要搜索的相关产品或关联事物

然后，我恍然大悟！

所谓大数据，就是算法！

它能够“算”出我们“心中所想”

那么问题来了

大数据技术是如何采集到我们的信息的呢？

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头，麦克风，都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点：

一、数据采集的三大要点

（1）全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为，需要采集用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

（2）多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。

比如“查看商品详情”这一行为，通过埋点，我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

（3）高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么，接下来我们再来了解一下常用的数据采集的方法。

常用的数据采集方法归结为以下三类：传感器、日志文件、网络爬虫。

（1）传感器

传感器通常用于测量物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。

（2）系统日志采集方法

日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（3）Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

此外，对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做的很好。

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

我在杭州有位朋友，提到有家做社交的电商很火，叫拼多多，我没有在意，直到有一天，我居然在电视上看到了它的广告，广告画面活蹦乱跳，余音绕梁，我惊呆了，想知道这是何方YL，不，何方神圣，网上搜了下，流传着各种版本，比如月GMV超过400亿啦，已经威胁到京东淘宝啦，等。

辣么，怎么样才能知道拼多多的这些信息呢？比如，拼多多到底有多少在售商品，卖了多少钱？不单单是拼多多的投资人，也许淘宝京东，也想知道。

我有个简单的想法，不一定对，就是抓取拼多多的商品条目，这些条目至少有分类，价格，已出售数量等信息，做一个简单的加法，是不是就可以得到GMV了呢？

当然，缺点也很明显，就是由于第一次获取数据，只能得到这个时间点的切面信息，其他的信息， 比如每日每周每月的数据，要持续的获取才能得到。

当然，我们先走第一步，开个头。现在，我们就从一个切面来窥探下。

我们获取了多少商品条目？

49.78万，大约50万条。这些数据全不全，肯定不全，但是基本上覆盖了拼多多的绝大部分在售商品，再退一步，数据的量级应该是没错的（数据获取时间：2018-04-15）。

这些商品总共卖出了多少钱？

50万条商品，每件商品有不同的SKU，比如某个店家的芒果，下面有4个SKU，5斤的小的拼单价20元，5斤的大的30元， 8斤的小的40元，8斤的大的50元， 分别卖出了400份，300份，200份，100份，那么这个商品总销售额就是400*20 + 300*30+ 200*40+ 100*50 = 30000元。

如此，我们就可以计算出总计50万商品的销售额。

288亿。

我对电商是个外行，一般商品上面的“已卖出9527件”，问下各位电商业界人士，这个是当月的销售数量吗？如果是的话，那288亿就是月GMV，考虑到本月只过去一半，辣么，传言的“拼多多月GMV超过400亿”，或许，空穴不来风。

288亿是一个什么概念呢，我们搜索了京东财报的公开新闻：

京东2017年GMV接近1.3万亿，净利润50亿元。

可以估计去年京东的月均GMV大概是1100亿，电商的GMV同比可达50%+增长，胡乱估计京东2018月GMV大概1500亿，辣么，拼多多的GMV大约为京东的三分之一。

这个， 还是有点吃惊的啊。

销售额前十的品类是哪些？

了解一个电商平台销售额前几位的品类，有助于判断它的竞争优势，比如电器数码等产品之于京东，服饰箱包之于淘宝，图书音像之于当当。

拼多多的主打品类是什么呢？

电商喜欢将商品分为三级品类，比如食品-水果-猕猴桃。 以下我们列出一级类目和三级类目排名前十的数据。

全部一级品类成交额：

一级类目销售额前10的品类：

前三名分别是食品，母婴，女装。成交额分别是40亿，31亿，27亿。厉害了。

来看看前三名的销售额占所有36个一级类目的成交额比例，足足三分之一强。

三级类目销售额前10的品类：

第一名是抽纸，卖了5个多亿！

我有点好奇，想知道是什么牌子的抽纸卖了这么多呢？同时也为了验证数据的准确性，从数据库中找到了（历史）销量最高的抽纸，销量508万。

根据名字，手动在拼多多APP找到了这款产品，它的名字也许你没有听过，是这样的：

嗯，数据是正确的（这2天又多了2万，手机传过来的，这图怎么这么大）。

作为对比， 看了京东销量最高的单品，维达是320多万，和拼多多排名第二的，一个名叫“初采”的抽纸销量（343万）差不多。

销售量前二十的商品是哪些？

商品的销售量代表了人气，当然，也许一个商品有人会买多份，无论如何，我们可以从中看出拼多多最多客户购买的产品是什么：

第一名还是抽纸，第二名不可描述，第三名伞（希望大家能够点击查看原图，否则压缩的看不清了啊）。后面还有几个也是抽纸，嗯，我就不懂了，为什么这么多抽纸，拼多多主要就是卖纸的？

销量前二十的商品，销售量都在200万以上。给我的感觉，有点类似于超市，更确切地说，有点像杂货铺，或者，类似于小时候村头的小卖部，以实用的生活用品为主，实在，方便，实惠。

总结

在这个万众创新，消费升级的年代，拼多多这样的社交电商的出现，在满足普通人民物美价廉需求方面，大获成功，让我有种错觉，难道这代表了我们的社会反而陷入了消费降级的陷阱吗？

因为拼多多的这些数据， 我想起几年前读过的一位名为三浦展的作者写的一本书：《下流社会》，这里的下流社会并不是贬义，只是探讨日本社会的社会消费，阶层团块。

“下流社会”这个术语一经在日本出现，立即引爆讨论。因为社会“向下流动”的趋势正在世界悄然成形，日美欧曾引以为傲的中产阶层正在消失，出现“上流”与“下流”的两极分化。年轻一代源源不断加入的“下流社会”，其最大的特征并不仅仅是低收入，更在于沟通能力、生活能力、工作意愿、学习意愿、消费意愿等的全面下降，也可以说是“对全盘人生热情低下”。社会下沉的拉力愈来愈大，当全球社会纷纷向下流动，中国，能预防吗？

但是，拼多多的兴起也许是另外的情况，因为中国太大了，也许真的是消费升级，只是不是一二线城市居民的消费升级呢？

拼多多销量最好的单品是什么？抽纸。

这让我想起，小时候在农村，去洗手间方便，额说错了，是去茅房如厕，那时候哪里有什么清风维达和初采啊，就是用过的书本练习册什么的。现在大家生活水平提高了，开始用抽纸卷筒纸，看，这，算不算消费升级呢？

什么是网络爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

小编记得有一个知名的网站号称最强大的“黑暗”搜索引擎工具Shodan，互联网上最可怕的搜索引擎！小编的确进去看过，搜索TP-LINK后，出现了大量的路由器，我点击任何一个所有信息都是可以看到的，包括国家，主机名等等，有兴趣的大家可以去官网上看看

在如今这个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物，而面临的问题就是大数据隐私

你或许并不敏感，当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了，当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

而我认为手握大数据还应该有大数据的思维，才能更好的利用！好的用途有：

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；

大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；

大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；

大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；

大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；

大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度；

大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；等等

今天在知乎上看到了一个帖子，分享给大家，不知大家看完有何感想

我们今天浅谈了一下大数据，希望不了解的朋友看一下，第二个方面今天我们不做程序员，教你如何进行简单的爬虫，将自己需要的大数据进行搜集，分享几个的小白上手易操作爬虫软件，感兴趣的可以试一下。

第一个：八爪鱼 大数据

第二个极搜客 这两个都是有免费的

第三个 熊猫采集 这个大家可以试用一下，并不是免费的

其他的比较专业的有Arachnid、EX-Crawlere、HerDy等等

好了，今天的文章到此结束了，希望能帮助到大家，对爬虫有兴趣的朋友可以试试我分享的这三款软件，个人认为极搜客还是蛮不错的，谢谢大家看我的文章，知数码行天下每天不断更新新的文章！