大数据技术从业人员必读

一、Hadoop相关工具

1. Hadoop

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://hadoop.apache.org

2. Ambari

作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://ambari.apache.org

3. Avro

这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。

支持的操作系统：与操作系统无关。

相关链接：http://avro.apache.org

4. Cascading

Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。

支持的操作系统：与操作系统无关。

相关链接：http://cascading.org/projects/cascading/

5. Chukwa

Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。

支持的操作系统：Linux和OS X。

相关链接：http://chukwa.apache.org

6. Flume

Flume可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。官方网站声称：“它功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”

支持的操作系统：Linux和OS X。

相关链接：https://cwiki.apache.org/confluence/display/FLUME/Home

7. HBase

HBase是为有数十亿行和数百万列的超大表设计的，这是一种分布式数据库，可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable，不过基于Hadoop和Hadoop分布式文件系统（HDFS）而建。

支持的操作系统：与操作系统无关。

相关链接：http://hbase.apache.org

8. Hadoop分布式文件系统（HDFS）

HDFS是面向Hadoop的文件系统，不过它也可以用作一种独立的分布式文件系统。它基于Java，具有容错性、高度扩展性和高度配置性。

支持的操作系统：Windows、Linux和OS X。

相关链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html

9. Hive

Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据，这是一种类似SQL的语言。

支持的操作系统：与操作系统无关。

相关链接：http://hive.apache.org

10. Hivemall

Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法，可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。

支持的操作系统：与操作系统无关。

相关链接：https://github/myui/hivemall

11. Mahout

据官方网站声称，Mahout项目的目的是“为迅速构建可扩展、高性能的机器学习应用程序打造一个环境。”它包括用于在Hadoop MapReduce上进行数据挖掘的众多算法，还包括一些面向Scala和Spark环境的新颖算法。

支持的操作系统：与操作系统无关。

相关链接：http://mahout.apache.org

12. MapReduce

作为Hadoop一个不可或缺的部分，MapReduce这种编程模型为处理大型分布式数据集提供了一种方法。它最初是由谷歌开发的，但现在也被本文介绍的另外几个大数据工具所使用，包括CouchDB、MongoDB和Riak。

支持的操作系统：与操作系统无关。

相关链接：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

13. Oozie

这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。

支持的操作系统：Linux和OS X。

相关链接：http://oozie.apache.org

14. Pig

Apache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言，拥有简化的并行编程、优化和可扩展性等优点。

支持的操作系统：与操作系统无关。

相关链接：http://pig.apache.org

15. Sqoop

企业经常需要在关系数据库与Hadoop之间传输数据，而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase，并从Hadoop导出到关系数据库管理系统（RDBMS）。

支持的操作系统：与操作系统无关。

相关链接：http://sqoop.apache.org

16. Spark

作为MapReduce之外的一种选择，Spark是一种数据处理引擎。它声称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://spark.apache.org

17. Tez

Tez建立在Apache Hadoop YARN的基础上，这是“一种应用程序框架，允许为任务构建一种复杂的有向无环图，以便处理数据。”它让Hive和Pig可以简化复杂的任务，而这些任务原本需要多个步骤才能完成。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://tez.apache.org

18. Zookeeper

这种大数据管理工具自称是“一项集中式服务，可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。

支持的操作系统：Linux、Windows（只适合开发环境）和OS X（只适合开发环境）。

相关链接：http://zookeeper.apache.org

二、大数据分析平台和工具

19. Disco

Disco最初由诺基亚开发，这是一种分布式计算框架，与Hadoop一样，它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。

支持的操作系统：Linux和OS X。

相关链接：http://discoproject.org

20. HPCC

作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。

支持的操作系统：Linux。

相关链接：http://hpccsystems

21. Lumify

Lumify归Altamira科技公司（以国家安全技术而闻名）所有，这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版，就能看看它的实际效果。

支持的操作系统：Linux。

相关链接：http://jboss.org/infinispan.html

22. Pandas

Pandas项目包括基于Python编程语言的数据结构和数据分析工具。它让企业组织可以将Python用作R之外的一种选择，用于大数据分析项目。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://pandas.pydata.org

23. Storm

Storm现在是一个Apache项目，它提供了实时处理大数据的功能（不像Hadoop只提供批任务处理）。其用户包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。

支持的操作系统：Linux。

相关链接：https://storm.apache.org

三、数据库/数据仓库

24. Blazegraph

Blazegraph之前名为“Bigdata”，这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本，也有使用商业许可证的版本。

支持的操作系统：与操作系统无关。

相关链接：http://systap/bigdata

25. Cassandra

这种NoSQL数据库最初由Facebook开发，现已被1500多家企业组织使用，包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群；比如说，苹果部署的Cassandra系统就包括75000多个节点，拥有的数据量超过10 PB。

支持的操作系统：与操作系统无关。

相关链接：http://cassandra.apache.org

26. CouchDB

CouchDB号称是“一款完全拥抱互联网的数据库”，它将数据存储在JSON文档中，这种文档可以通过Web浏览器来查询，并且用JavaScript来处理。它易于使用，在分布式上网络上具有高可用性和高扩展性。

支持的操作系统：Windows、Linux、OS X和安卓。

相关链接：http://couchdb.apache.org

27. FlockDB

由推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库，擅长存储社交网络数据。虽然它仍可用于下载，但是这个项目的开源版已有一段时间没有更新了。

支持的操作系统：与操作系统无关。

相关链接：https://github/twitter/flockdb

28. Hibari

这个基于Erlang的项目自称是“一种分布式有序键值存储系统，保证拥有很强的一致性”。它最初是由Gemini Mobile Technologies开发的，现在已被欧洲和亚洲的几家电信运营商所使用。

支持的操作系统：与操作系统无关。

相关链接：http://hibari.github.io/hibari-doc/

29. Hypertable

Hypertable是一种与Hadoop兼容的大数据数据库，承诺性能超高，其用户包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支持服务。

支持的操作系统：Linux和OS X。

相关链接：http://hypertable.org

30. Impala

Cloudera声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。

支持的操作系统：Linux和OS X。

相关链接：http://cloudera/content/cloudera/en/products-and-services/cdh/impala.html

31. InfoBright社区版

InfoBright为数据分析而设计，这是一种面向列的数据库，具有很高的压缩比。InfoBright提供基于同一代码的收费产品，提供支持服务。

支持的操作系统：Windows和Linux。

相关链接：http://infobright.org

32. MongoDB

mongoDB的下载量已超过1000万人次，这是一种极其受欢迎的NoSQL数据库。MongoDB上提供了企业版、支持、培训及相关产品和服务。

支持的操作系统：Windows、Linux、OS X和Solaris。

相关链接：http://mongodb.org

33. Neo4j

Neo4j自称是“速度最快、扩展性最佳的原生图形数据库”，它承诺具有大规模扩展性、快速的密码查询性能和经过改进的开发效率。用户包括电子港湾、必能宝（Pitney Bowes）、沃尔玛、德国汉莎航空公司和CrunchBase。

支持的操作系统：Windows和Linux。

相关链接：http://neo4j.org

34. OrientDB

这款多模型数据库结合了图形数据库的一些功能和文档数据库的一些功能。提供收费支持、培训和咨询等服务。

支持的操作系统：与操作系统无关。

相关链接：http://orientdb.org/index.htm

35. Pivotal Greenplum Database

Pivotal声称，Greenplum是“同类中最佳的企业级分析数据库”，能够非常快速地对庞大的海量数据进行功能强大的分析。它是Pivotal大数据库套件的一部分。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://pivotal.io/big-data/pivotal-greenplum-database

36. Riak

Riak“功能完备”，有两个版本：KV是分布式NoSQL数据库，S2提供了面向云环境的对象存储。它既有开源版，也有商业版，还有支持Spark、Redis和Solr的附件。

支持的操作系统：Linux和OS X。

相关链接：http://basho/riak-0-10-is-full-of-great-stuff/

37. Redis

Redis现在由Pivotal赞助，这是一种键值缓存和存储系统。提供收费支持。要注意：虽然该项目并不正式支持Windows，不过微软在GitHub上有一个Windows派生版。

支持的操作系统：Linux。

相关链接：http://redis.io

四、商业智能

38. Talend Open Studio

Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://talend/index.php

39. Jaspersoft

Jaspersoft提供了灵活、可嵌入的商业智能工具，用户包括众多企业组织：高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外，它还提供收费的报表版、亚马逊网络服务（AWS）版、专业版和企业版。

支持的操作系统：与操作系统无关。

相关链接：http://jaspersoft

40. Pentaho

Pentaho归日立数据系统公司所有，它提供了一系列数据整合和业务分析工具。官方网站上提供了三个社区版；访问Pentaho，即可了解收费支持版方面的信息。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://community.pentaho

41. SpagoBI

Spago被市场分析师们称为“开源领袖”，它提供商业智能、中间件和质量保证软件，另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源，不过也提供收费的支持、咨询、培训及其他服务。

支持的操作系统：与操作系统无关。

相关链接：http://spagoworld.org/xwiki/bin/view/SpagoWorld/

42. KNIME

KNIME的全称是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），这是一种开源分析和报表平台。提供了几个商业和开源扩展件，以增强其功能。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://knime.org

43. BIRT

BIRT的全称是“�...

最近几年，大数据之类的经济名词鼓噪着每个企业家的耳膜。大部分人对这个概念模棱两可，似乎隐约明白它的含义，但是一旦问到大数据的具体用途，谁都说得含糊其辞。今天，小路就给大家普及一下大数据的意义，及大数据在现实生活中的具体用途。

百度百科给出的定义：大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。

以上语言翻译成人话就是，大数据就是你我在日常生活，衣食住行所产生的信息积累。企业通过对这些信息的分析，从而判断出某个人或某个群体的消费习惯，从而指导企业生产及营销。

举个例子。比如一个美女，平时没啥事，就喜欢绑绑大款，绑上之后呢，当然是逛街购物，花天酒地，胡吃海塞啥的。那么针对于这位美女的大数据是咋产生的呢？

假设这位美女在购物的时候，突然看上了一件价值3000元的名牌大衣，美女二话不说便掏出银行卡/手机，一般情况下选择的消费方式为刷卡消费，或者第三方支付（现金真的很少了）。那么今天她买的这件衣服的信息，包括款式、价格、品牌、颜色等等信息，以及美女的个人消费时间点、消费金额、付费习惯等等信息，都可以算做一个数据。

单个数据是没有具体意义的，但是当我们将类似的数据汇总在一起，数据流便产生了意义。继续拿上面的美女举例子。美女买完一件衣服后，依然感觉意犹未尽，那么干点什么好呢？美女决定围绕这件衣服，寻找合适的服饰搭配。于是她一路血拼下来，大包小包买了一大摞。最后逛街逛累了，顺道去吃了个午饭。

那么凭借着一天的消费情况，我们针对这位美女的大数据便可以产生了，首先，通过她购买物品的价格、品牌、质地等等要素，我们便能判断她的消费能力，可以进行归档为高端消费人群还是中端消费人群。而通过她购买的所有商品的商品属性，来判断她购买习惯偏向于何种喜好，是喜欢真皮制品，还是丝绸制品。购买风格属于复古的，还是潮流的等等。是服装类商品所占当日消费额比例高，还是餐饮类消费比例高等等。

那么，这个大数据得出来之后怎么用？当然是给有需要的品牌公司里。比如，某服装公司从大数据端了解到了这位美女的购物倾向，同时从其他大数据中了解到，在高端消费人群中，这种购物倾向的消费者占市场总份额的很大一部分，那么这家品牌公司便可以针对这一客户群体，研发偏近于客户购物倾向的商品。

那么当商品研发出来之后呢？大数据是不是就没用了？当然不是。想想你们微信朋友圈里那些见缝插针般的推广广告，这些推荐可都是根据你的消费水平而有选择性推送的。那么针对案例当中的这位美女，当品牌公司通过购买某种渠道或者媒介，将新商品的广告推广给美女时，美女一看，哎呀妈呀！！这不久似俺日思夜盼牵肠挂肚的可耐桑品吗？可让俺给找到了！于是美女又风风火火的血拼去了。

品牌公司通过大数据分析，精确搜索到了自己的潜在客户，并且通过精准的渠道和媒介投放，以极低的广告成本，捕获了潜在客户的购买欲望，从而极大提升了产品的成交量。在这个过程中，品牌公司的广告投放浪费率极低。

同时我们要了解，以上案例仅仅是单个人在一天当中的消费习惯形成的数据。真正的大数据分析，既有对个体的分析，又有对整个群体的分析，既有某时某刻的消费分析，又有长期的消费分析。这种分析庞大而又十分细化。

以上只是小路我为大家简单描述了一下大数据的现实作用，但这仅仅是大数据很浅显的表述。大数据在现实社会的指导意义，已经有相关新闻进行了证实：

通过对扶贫对象衣食住行的消费大数据监管，黄冈市确定了多名冒领扶贫款的家庭。

大数据分析是一个十分庞杂的烧脑过程，目前国内还没有真正权威的精通大数据分析师，所有行业对自己的大数据分析，都还处于摸索阶段，但如果无视大数据在现实生活中的指导作用，这样的企业在未来的市场中将寸步难行，因为大家实在拿不出时间，花费在自己不感兴趣的领域里了。

延伸阅读：

路云卡包同其他同类型产品相比，拥有哪些优势？

优势一、闪速办卡，让繁琐流程转瞬即逝！

路云卡包支持网上办卡，足不出户便可轻松办理。无论任何问题，我们都将竭诚为您服务！

优势二、十二家银行通道，让您的办卡之旅多重选择！

华夏银行、浦发银行、平安银行、交通银行、民生银行、光大银行、兴业银行、招商银行、浦发银行、上海银行、中信银行、广州银行、光大银行高端卡！单卡返佣80-110元！

优势三、多家网贷机构，助力中小企业成功转型！

点容魔借、还卡超人、我来贷、小叔普惠、速贷借款……多家网贷平台，返佣费率1％~1.5％！

优势四、全品彩票，返佣比例5％~7％！

优势五、多平台推广，传统模式结合互联网推广，让您的品牌特立独行！

本公司拥有专业营销团队，攻坚克难，全程对经销商营销支持！经销商拥有PC端单独后台，时时把控用户信息。独立“大数据”库存，加速资源整合，让您拥有属于自己的信息资源！

独立分销渠道，帮助您不断壮大销售团队！

手机APP全网推送，互联网营销全天在线！

OEM私企定制系统，让您的个人品牌，火爆整个金融界！

路云卡包，闪速办卡，捷足先登！

详情请拨打：400—666—5835

公司地址：石家庄市长安区广安大街美东国际A座13层路云集团

AI 科技评论编者按：现在，越来越多的企业、高校以及学术组织机构通过举办各种类型的数据竞赛来「物色」数据科学领域的优秀人才，并借此激励他们为某一数据领域或应用场景找到具有突破性意义的方案，也为之后的数据研究者留下有价值的经验。

Smilexuhc 在 GitHub 社区对各大数据竞赛名列前茅的解决方案进行了整理，包括纯数据竞赛、自然语言处理（NLP）领域数据赛事的 Top 解决方案。对这些赛事感兴趣的小伙伴可以一起来看一下这篇干货满满的汇总贴：

纯数据竞赛

1.2018 科大讯飞 AI 营销算法大赛

本次大赛要求参赛者基于提供的讯飞 AI 营销云的海量广告投放数据，通过人工智能技术构建来预测模型预估用户的广告点击概率。比赛提供了 5 类数据，包括基础广告投放数据、广告素材信息、媒体信息、用户信息和上下文信息，总共为 1001650 初赛数据 和 1998350 条复赛数据（复赛训练数据为：初赛数据+复赛数据）。

Rank1：https://zhuanlan.zhihu/p/47807544

2.2018 IJCAI 阿里妈妈搜索广告转化预测

本次比赛要求参赛者以阿里电商广告为研究对象，基于提供的淘宝平台的海量真实交易数据，通过人工智能技术构建来预测模型预估用户的购买意向。本次比赛为参赛者提供了 5 类数据，包括基础数据、广告商品信息、用户信息、上下文信息和店铺信息。用于初赛的数据包含了若干天的样本；最后一天的数据用于结果评测，对选手不公布；其余日期的数据作为训练数据，提供给参赛选手。

Rank1：https://github/plantsgo/ijcai-2018 Rank2：https://github/YouChouNoBB/ijcai-18-top2-single-mole-solution https://blog.csdn/Bryan__/article/details/80600189 Rank3: https://github/luoda888/2018-IJCAI-top3 Rank8: https://github/fanfanda/ijcai_2018 Rank8: https://github/Gene20/IJCAI-18 Rank9（第一赛季）：https://github/yuxiaowww/IJCAI-18-TIANCHI

3.2018 腾讯广告算法大赛

本次算法大赛的题目源自一个基于真实业务场景的广告技术产品——腾讯社交广告 Lookalike 相似人群拓展。本题目要求参赛者基于提供的几百个种子人群、海量候选人群对应的用户特征，以及种子人群对应的广告特征，构建算法准确标定测试集中的用户是否属于相应的种子包。

出于业务数据安全保证的考虑，比赛所提供的所有数据均为脱敏处理后的数据。整个数据集分为训练集和测试集：训练集中标定了人群中属于种子包的用户与不属于种子包的用户（即正负样本），测试集将检测参赛选手的算法能否准确标定测试集中的用户是否属于相应的种子包，训练集和测试集所对应的种子包完全一致。初赛和复赛所提供的种子包除量级有所不同外，其他的设置均相同。

Rank3: https://github/DiligentPanda/Tencent_Ads_Algo_2018 rank6: https://github/nzc/tencent-contest Rank7: https://github/guoday/Tencent2018_Lookalike_Rank7th Rank9: https://github/ouwenjie03/tencent-ad-game Rank10: https://github/keyunluo/Tencent2018_Lookalike_Rank10th rank10（初赛）: https://github/ShawnyXiao/2018-Tencent-Lookalike Rank11: https://github/liupengsay/2018-Tencent-social-advertising-algorithm-contest https://my.oschina/xtzggbmkk/blog/1865680

4.2018 高校大数据挑战赛—快手活跃用户预测

本次大赛要求参赛者基于脱敏和采样后的数据信息，预测未来一段时间活跃的用户。参赛队伍需要设计相应的算法进行数据分析和处理，比赛结果按照指定的评价指标使用在线评测数据进行评测和排名。大赛提供的数据为脱敏和采样后用户行为数据，日期信息进行统一编号，第一天编号为 01，第二天为 02，以此类推，所有文件中列使用 tab 分割。

Rank1： https://github/drop-out/RNN-Active-User-Forecast https://zhuanlan.zhihu/p/42622063 Rank4: https://github/chantcalf/2018-Rank4- Rank13(初赛 a 榜 rank2；b 榜 rank5)：https://github/luoda888/2018-KUAISHOU-TSINGHUA-Top13-Solutions Rank15: https://github/sunwantong/Kuaishou-Active-User Rank20: https://github/bigzhao/Kuaishou_2018_rank20th

5.2018JDATA 用户购买时间预测

本次大赛要求参赛者基于给定的近 3 个月购买过目标商品的用户以及他们在前一年的浏览、购买、评价等数据信息，自行设计数据处理相关操作、训练模型，从而预测未来 1 个月内最有可能购买目标品类的用户，并预测他们在考察时间段内的首次购买日期。数据主要包括用户基本信息、SKU 基本信息、用户行为信息、用户下单信息及评价信息。

Rank9：https://zhuanlan.zhihu/p/45141799

6.2018 DF 风机叶片开裂预警

本次大赛要求参赛者基于风机 SCADA 实时数据，通过机器学习、深度学习、统计分析等方法建立叶片开裂早期故障检测模型，对叶片开裂故障进行提前告警。比赛提供的数据集包括训练集和测试集：训练集一共有 25 类风机共 4 万个样本，测试集没有风机编号，共 8 万个样本。

Rank2：https://github/SY575/DF-Early-warning-of-the-wind-power-system

7.2018 DF 光伏发电量预测

本次大赛要求参赛者在分析光伏发电原理的基础上，论证辐照度、光伏板工作温度等影响光伏输出功率的因素，通过实时监测的光伏板运行状态参数和气象参数建立预测模型，预估光伏电站瞬时发电量，并根据光伏电站 DCS 系统提供的实际发电量数据进行对比分析，验证模型的实际应用价值。

比赛提供训练集 9000 个点，测试集 8000 个，包括光伏板运行状态参数（太阳能电池板背板温度、其组成的光伏阵列的电压和电流）和气象参数（太阳能辐照度、环境温湿度、风速、风向等）。

Rank1：https://zhuanlan.zhihu/p/44755488?utm_source=qq&utm_medium=social&utm_oi=623925402599559168 （这一方案也可查看微信文章：《XGBoost+LightGBM+LSTM:一次机器学习比赛中的高分模型方案》https://mp.weixin.qq/s/Yix0xVp2SiqaAcuS6Q049g）

8.AI 全球挑战者大赛—违约用户风险预测

本次大赛要求参赛者基于马上金融平台提供的近 7 万贷款用户的基本身份信息、消费行为、银行还款等数据信息，建立准确的风险控制模型，来预测用户是否会逾期还款。

Rank1：https://github/chenkkkk/User-loan-risk-prediction

9.2016 融 360-用户贷款风险预测

本次大赛要求参赛者基于由融 360 与平台上的金融机构合作的提供近 7 万贷款用户的基本身份信息、消费行为、银行还款等数据信息，建立准确的风险控制模型，来预测用户是否会逾期还款。

Rank7：https://github/hczheng/Rong360

10.2016 CCF-020 优惠券使用预测

本次大赛要求参赛者基于给定的用户在 2016 年 1 月 1 日至 2016 年 6 月 30 日之间真实线上线下消费行为，预测用户在 2016 年 7 月领取优惠券后 15 天以内是否核销。比赛评测指标采用 AUC，先对每个优惠券单独计算核销预测的 AUC 值，再对所有优惠券的 AUC 值求平均作为最终的评价标准。

Rank1: https://github/wepe/O2O-Coupon-Usage-Forecast

11.2016 CCF-农产品价格预测

本次大赛要求参赛者基于 2016 年 6 月以前的农产品价格数据，预测 7 月的农产品价格。本题目初赛基于全国各农场品交易市场的价格数据，复赛则加上天气等多源数据。

Rank2: https://github/xing89qs/CCF_Product

12.2016 CCF-客户用电异常

国家电网通过对用户及所属变压器进行异常监测，并通过现场检修人员根据异常情况对用户进行抽检，并反馈检查结果，如发现为窃电用户，将反馈窃电用户信息。本赛题要求参赛者通过提供的相关数据与检查人员检查结果，建立窃电检测模型，识别用户窃电行为。

Rank4: https://github/AbnerYang/2016CCF-StateGrid

13.2016 CCF-搜狗的用户画像比赛

本题目初赛时要求参赛者基于给出的 2 万用户的百万级搜索词，以及经过调查得到的真实性别、年龄段、学历这一训练集，通过机器学习、数据挖掘技术构建分类算法对另外 2 万人群的搜索关键词进行分析，并给出其性别、年龄段、学历等用户属性信息。复赛时，训练集与测试集规模均扩展至 10 万用户。

Rank1: https://github/hengchao0248/ccf2016_sougou Rank3: https://github/AbnerYang/2016CCF-SouGou Rank5: https://github/dhdsjy/2016_CCFsougou

14.2016 CCF-联通的用户轨迹

精准营销是互联网营销和广告营销的新方向，特别是在用户身处特定的地点、商户，如何根据用户画像进行商户和用户的匹配，并将相应的优惠和广告信息通过不同渠道进行推送，成为了很多互联网和非互联网企业的新发展方向。本赛题以其中一个营销场景为例，要求参赛者基于提供的用户位置信息、商户分类与位置信息等数据，完成用户画像的刻画并进行商户匹配。

RankX: https://github/xuguanggen/2016CCF-unicom

15.2016 CCF-Human or Robots

仅 2016 上半年，AdMaster 反作弊解决方案认定平均每天能有高达 28% 的虚假流量，即由机器人模拟和黑 IP 等手段导致的非人恶意流量。本赛题要求参赛者通过用户行为日志，自动检测出这些虚假流量。

Rank6: https://github/pickou/ccf_human_or_robot

16.菜鸟-需求预测与分仓规划

本赛题要求参赛者以历史一年海量买家和卖家的数据为依据，预测某商品在未来二周全国和区域性需求量。参赛者需要用数据挖掘技术和方法精准刻画商品需求的变动规律，对未来的全国和区域性需求量进行预测，同时考虑到未来的不确定性对物流成本的影响，做到全局的最优化。比赛提供商品从 2014年 10 月 10 日到 2015 年 12 月 27 日的全国和区域分仓数据。

Rank6: https://github/wepe/CaiNiao-DemandForecast-StoragePlaning Rank10: https://github/xing89qs/TianChi_CaiNiao_Season2

自然语言处理（NLP）

1.2018 DC 达观-文本智能处理挑战

此次比赛要求参赛者基于达观数据提供的一批长文本数据和分类信息，结合当下最先进的 NLP 和人工智能技术，深入分析文本内在结构和语义信息，构建文本分类模型，实现精准分类。比赛提供的数据包含训练数据集和测试数据集 2 个 csv 文件。

Rank1: https://github/ShawnyXiao/2018-DC-DataGrand-TextIntelProcess Rank4: https://github/hecongqing/2018-daguan-competition Rank10: https://github/moneyDboat/data_grand Rank18: https://github/nlpjoe/daguan-classify-2018

2. 智能客服问题相似度算法设计——第三届魔镜杯大赛

本次大赛要求参赛者基于拍拍贷提供的智能客服聊天机器人真实数据，以自然语言处理和文本挖掘技术为主要探索对象，利用这些资源开发一种提高智能客服的识别能力和服务质量的算法。

rank6：https://github/qrfaction/paipaidairank12：https://jianshu/p/827dd447daf9https://github/LittletreeZou/Question-Pairs-MatchingRank16：https://github/guoday/PaiPaiDai2018_rank16

3.2018JD Dialog Challenge 任务导向型对话系统挑战赛

本次大赛要求参赛者基于京东用户与京东人工客服真实对话数据（脱敏后）以及给定的对话数据进行分析，构建端到端的任务驱动型多轮对话系统，输出满足用户需求的答案——该答案需要能正确、完整且高效地解决问题，为用户带来简单、省心、智能的购物咨询体验。

Rank3: https://github/zengbin93/jddc_solution_4th

4.2018CIKM AnalytiCup – 阿里小蜜机器人跨语言短文本匹配算法竞赛

本次大赛关注短文本匹配在语言适应的问题，源语言为英语，目标语言为西班牙语。比赛要求参赛者建立跨语言短文本匹配模型，来提升智能客服机器人的能力。

Rank2: https://github/zake7749/Closer Rank12：https://github/Leputa/CIKM-AnalytiCup-2018 Rank18: https://github/VincentChen525/Tianchi/tree/master/CIKM%20AnalytiCup%202018

另外，Smilexuhc 还为大家提供了两篇经验文章，大家感兴趣的话可以一并收藏向前辈们取取经。

经验文章

《介绍 featexp一个帮助理解特征的工具包》：http://sohu/a/273552971_129720《Ask Me Anything session with a Kaggle Grandmaster Vladimir I. Iglovikov》PDF：https://pan.baidu/s/1XkFwko_YrI5TfjjIai7ONQ

Via：https://github/Smilexuhc/Data-Competition-TopSolution

此前，雷锋网 AI 科技评论也对一些数据竞赛进行了报道，感兴趣的同学可以前往阅读往期报道：

京东 AI Fashion-Challenge 挑战赛冠军方案详解（风格识别+时尚单品搜索）：https://leiphone/news/201809/LBNzpCx58L98oK7M.html

ICPR 图像识别与检测挑战赛冠军方案出炉，基于偏旁部首来识别 Duang 字：https://leiphone/news/201808/CkFtca7oz5h2oCp8.html

KDD Cup 2018 冠军「 first floor to eat latiao」：为什么取这个队名？因为大家都爱辣条：https://leiphone/news/201808/srcNcc3AWQTTJl4z.html

「2018 机器阅读理解技术竞赛」落下帷幕，看奇点机智如何从 800 多支队伍中杀出重围：https://leiphone/news/201805/zB0caxkxv73YF8F9.html

看阿里 AliOS 神灯团队在推荐系统上的独门秘籍：https://leiphone/news/201804/du0koPNyTZwLSb7x.html

专访讯飞病灶分割比赛优胜团队，年内会将该算法投入实用：https://leiphone/news/201803/B5qXDGkp5JUrJYWQ.html

Kaggle 大神 Eureka 的高手进阶之路：https://leiphone/news/201803/QtcJFW9OoDI8CMWA.html

亚马逊 Alexa Prize 比赛冠军团队专访：聊天机器人的突破与创新：https://leiphone/news/201801/ySAXM1p2Qhy20vts.html

KDD Cup 2017双料冠军是如何炼成的？我们向Convolution团队讨教了他们的「成功方法论」：https://leiphone/news/201708/KVadVGXYYIudv6lr.html

图鸭科技 CVPR 2018 图像压缩挑战赛夺冠，获奖论文全解读：https://leiphone/news/201806/sFpN5c4zd0Z0fw32.html 雷锋网雷锋网

伟大的力量，伟大的责任，2018年全球大数据公司全景画像汇总。未来的公司，都可以称为数据公司；不掌握数据的公司，如盲人般看不到未来。所以，从互联网巨头到创业新贵，从中国到全世界，已经有无数技术公司投身到大数据和人工智能的洪流之中。

本文分享了风险资本家Matt Turc关于2018年大数据和人工智能的全景图，该分析汇总了全球1000多家大数据公司，从多方位多视角进行的归纳统计，以下为大家做一个总结性解读。2018年大数据和人工智能的全景图

2018年大数据和人工智能的全景图

将大数据和人工智能领域进一步分解，从底层的数据资源和数据API，到中层的开源框架和基础架构，再到领域终端的数据分析和应用行业，数据作为最基本的元素，贯穿整条产业链，也激活了教育、金融、健康医疗、物流等各行各业的活力与生机。

从细分领域来看，大数据企业多数分布在三类方向：

第一类是基础架构，共219家企业。主要做基于云的企业级数据存储、分析、安全、管理等服务，提供诸如云服务、数据库、数据集成、数据保护、数据转换等细分类别；第二类是分析工具，共223家企业。主要做信息的搜索和商业分析，提供搜索、分拣、识别、调用、分析等细分类别；第三类是应用行业，共243家企业。主要在金融、医疗、广告、社交、政府、电商、物流、农业等细分行业领域提供大数据服务。

趋势预测：

结合以上功能性分类，总结出以下5点是未来大数据公司的发展方向和科技预测

大数据公司未来趋势

1. 人工智能将成为大数据领域的核心驱动力

亚马逊、谷歌、Facebook和IBM等国内国际大公司在人工智能域引领潮流，已经赢得市场回报。

2. 行业集中趋势愈加明显

2018年，我们已经能看到很多小型的人工智能类创业公司开始被大公司收购。

3. 大数据与人工智能企业的数据壁垒程度出现两极分化

大数据领域行业集中度增加，市场进入壁垒提升，数据资产化将成为必然趋势，数据壁垒将越来越高。相反的是，人工智能立足市场的基础便是大数据，因而大数据的交流与打通将为企业获得数据资源，以促进算法的不断优化更新。

4. 人工智能将逐渐对垂直领域产生影响

制造、客户服务、交通运输和医疗健康、教育、家居等领域已经受到人工智能的影响，今后也将会有更多的领域使用人机交互的智能机器人，比如保险、财税等。

5. 数据安全将成为一大隐患

面对大数据与人工智能的不断升级与发展，安全和隐私问题也会随之凸显。也有部分专家认为大数据和人工智能对人类进化，有着方向性的错误。比如Sydney J. Harris曾经说过：真正危险的不是计算机开始像人类那样去思考，而是人类开始像计算机一样思考。

公司投融资情况

1075家企业中，共有185家被收购，23家IPO上市。

大数据领域中，4家较为知名的上市企业有专注于企业级数据管理服务的Cloudera、数据库管理公司MongoDB、云计算服务商Zuora和数据搜索软件公司Elastic。这四家企业都在最近两年内上市，目前总市值在19-44亿美元之间。

大数据公司投融资情况

文章转自：探码科技

地球是个复杂的地方，我们共享着这个星球。

有时候我们很难去了解每一个人，以及他们的信仰！

为了更清楚的了解这些，让我们把全球75亿人口缩减至100人，并让这100人的社会结构尽可能的和真实世界一样！

根据性别来区分，100人当中有50个男人跟50个女人

大多数人都在亚洲，有59个人。

相较之下，有16个在非洲，10个在欧洲，8个在北美洲，6个在南美洲。

19个人住在中国，18个住在印度

只有4个住在美国，3个住在巴西，2个住在俄罗斯，1个住在德国

其余53个人由剩下的187个国家平分

大多数的人都非常年轻，0-4岁有9个人

5-14岁有17个人

15-24岁的有16个人

25-34岁的有16个人

也就是说，总共有58个人低于35岁

35-49岁有20个人

50-64岁的只有14个人

只有8个人大于65岁

说到这100个人当中所信仰的宗教，31个人是基督徒

23个人是穆斯林

15个人信奉印度教

7个人信奉佛教

9个人信奉其他宗教

以及15个人是无神论者或者没有信仰

中文是最多人了解的语言，有14个人可以看得懂

英文紧接在后，有13个人可以看得懂

9个人看得懂印度斯坦语

8个人看得懂西班牙语

5个人看得懂阿拉伯语

剩下的51人则是在说其他70000多种语言

大多数的人都可以写字或者阅读，有86人拥有这项能力

当却有14个人是文盲

92个人可以喝到干净且安全的水

8个人却不行，且为了水而争夺着

62个人体重是健康的

但有11个人营养不良，有1个人没有食物吃

其余的26个人体重过重，其中有8个人肥得太夸张

21个人没有足够安全的房子来保护他们免受恶劣天气的影响

有一个人无家可归

然而，其余的78个个人拥有适合他们的房子可以住

只有60个人有厕所可以用，而其他的40个人没有厕所可以使用

在这40个人当中，有15个人的生理需求是在户外解决的

54个人生活在都市

而其他46个人生活在偏远的乡下

有9个人目前是失业的

而其他的91个人都有工作或者是非劳动工作者

有1个人罹患艾滋病

以及有5个人今年将会以某种形式感染性传播疾病（STD）

目前有58个人已经结婚了，女人平均29岁结婚，男人则是32岁

其他15个人有在吸烟，另外85个人则是无烟者

有趣的是，车辆所有权的统计与吸烟人数是相同的

有15个人拥有交通工具，而其他85个人没有

大多数人是右撇子，只有10个人是左撇子

有73个人已经或者将要从高中毕业

而其他27人没读高中或者是无法毕业

然而，只有7个人拥有某一学系的文凭

而其他的93人则没有

即使如此，大多数人还是拥有手机

有80个人至少拥有一台手机，而其他20个人则没有

这间接说明了，可以用手机的人比可以用厕所的人还多

可以上网的人比拥有手机的人更少

只有42个人可以上网，儿其他58个人没有办法

无论如何，说道可以上网的人

13个人有微信账号

6个人有支付宝账号

26个人有Facebook账号

17个人有youtobe账号

有4个个每个月至少使用Twitter一次

在100个人中的结构关系，追惊人的应该是财产的分配状况了

71个人财产不到10000美金

此外，12个人每天生活费不到2块美金

21个人持有10000-100000美金的财产

7个人有100000-1000000美金的财产

只有一个人真正的持有1000000以上的美金

这个人的有钱程度要用接下来这个图表才可以表现出来

这个人拥有世界上几乎一半的金钱

有9个人掌握这35%的金钱

所以总结一下，在这个社会中，有10个人掌握这85%的金钱

而其他20个人拥有12%的金钱供应量

这代表着 这个社会占有大多数的70个人，只掌握这3%的金钱供应量

除此之外，还有一个人是难民或者目前被迫离开他的家园。

还有2个人名字是Mohammed, 这个名字目前是世界上最常见的。

小伙伴们看完以上的数据后，自己对号入坑哦！

看看你有没有给全地球人拖后腿了？

最后，这100个人都住在地球上，也就是我们的家。

在几年只有，又或更久，谁又知道这些数据是否会变得截然不同呢？

如果喜欢这篇文章，收藏并分享给你的朋友，看看他到底拖了哪几项后腿了？

2018年的春节是怎么过的呢？大数据告诉你。

据中国联通大数据发布的《2018春节出行分析报告》显示，2月9日至16日期间，出行总人数达1.7亿。90后成为出行人数最多的年龄段，占比达到36.3%。80后紧随其后，出行比例为19.9%，只有5.5%的50后选择春节期间出行。近半数旅客选择了自驾出行，44%的旅客选择了火车出行，只有6%的旅客选择了飞机出行。数据还显示，选择自驾出行的旅客年龄段集中在50后~70后，年轻的80~90后更多选择火车为春节期间的交通工具。拥有大量外来务工人员的广东、北京、浙江、江苏和上海，成为人员流出的核心地区，在春节期间大唱空城计。离开用工城市的返乡人群纷纷涌入河南、湖南、安徽、四川和河北。以华中地区为例，春节期间输入人口近5300万人。2月15日至20日期间，最受欢迎的旅游城市分别是上海、长春、哈尔滨、三亚、厦门。北京、辽宁、河南等地的游客暂别北方的寒风，三亚成为了他们春节游的最佳选择;上海、浙江、广东等地的南方旅客的北上目的地首选哈尔滨，看冰灯赏雪景成为南方游客的最爱。在景区的选择上，云南丽江古城、海南三亚亚龙湾、江苏南京夫子庙分列前三。

高德地图发布《2018春运出行大数据报告》，通过腊月十六至正月初七与2017年同期数据对比分析来看，虽然2018年全国高速平均拥堵里程比去年有所增长，但与去年相比，2018年节前总体出行较为分散、拥堵峰值不明显，未出现去年小年拥堵集中的现象。节期间与平时正常通勤日相比，全国道路交通较为畅通，只有清远、桂林两个城市较平常拥堵。报告公布了春节期间拥堵降幅最大城市排行前10名，与平日正常通勤日相比，北京、广州、合肥、重庆、哈尔滨、东莞、沈阳、长春、上海、武汉10个城市拥堵降幅最大，全天呈自由流状态，其中北京拥堵指数降幅达43.8%，位于降幅榜首。正月初一至初三我国主要城市拥堵排名，前10名依次为洛阳、宿迁、茂名、泰安、三亚、大同、汕头、连云港、银川、南充。

根据饿了么大数据，贵阳2018年春节订单同比增长了309%，太原增长了256%，佛山增长了243%。春节期间，非餐配送的数量明显提升。贵阳果蔬生鲜的配送量同比增长了1700%，而商店超市海口同比增长了2689%。正月初七刚上班全国多地的外卖订单量就出现了明显增长，增幅最大的是厦门，相比前一天环比增长了47.4%。全国来看，桂林、海口、周山是非餐配送比较热门的城市，桂林果蔬生鲜增长710%、商店超市增长483%;海口果蔬生鲜增长683%、商店超市增长2689%;舟山果蔬生鲜增长376%、商店超市增长1240%。

从国家旅游局数据来看， 2018年春节，全国共接待游客3.86亿次，同比增长12.1%。我国游客从近200个国内主要城市到达全球68个国家和地区、730个国内外城市。第三方数据显示，跟团游、自由行最受青睐，85后、90后开始引领出境游市场。

中国铁路总公司与今日头条联合发布2018春运大数据报告显示，2018年春运旅客在途平均时间为327分钟，2018年春运相关信息同比去年上升11.18%。

据商务部监测数据显示，除夕至正月初六，全国零售和餐饮企业实现销售额约9260亿元。八年前人们的消费单里，购物：餐饮：娱乐的比例为52:18:30，而如今已今非昔比的一二线城市里餐饮比例高达40%。

京东大数据显示，春节期间，青海、江西、云南、湖南、安徽等省份春季期间购物金额同比增长名列前茅，六线城市领跑增速排行榜。春节期间京东生鲜类商品销售暴增200%，酒类销售也增长近110%，食品类增长近100%。

苏宁发布《春节消费大数据》，数据显示春节前“剁手”消费暴增点，集中在手机、液晶电视、笔记本电脑成为消费者最喜爱的商品组；其中位列年前剁手前十的区域分别是：北京、上海、广州、深圳、南京、成都、杭州、武汉、重庆、天津。其中，消费者最喜爱的品牌/购买最多的品牌是：苹果、联想、华为、海尔、海信。年货节期间，洋河、五粮液、泸州老窖成为最受用户欢迎的top3白酒品牌。其中，茅台53度勇夺年货节期间销售冠军。

据平安好医生旗下健康商城年货节的最新数据显示，坚果、红枣等“健康食品”是国人的“心头好”，占比最高达23%。滋补养生、中西药品以及营养保健等产品也成为年货节期间的抢手货，消费占比分别高达22%、12%及10%，其中滋补养生类食品较去年同期上涨近三倍。

重庆移动发布2018年春节大数据，春节期间不限量客户日活跃度已超过100万，主要以视频类APP为主，占到总流量约40%。春节期间流量于今年初一达到峰值，其中20、21、22点为最高峰时刻，春节期间产生数据流量较去年同期上涨超过50%，总共产生了超过8000TB的流量，相当于市民们节日期间观看高清电影超400万部。4G流量增长迅猛，仅在除夕当天，重庆移动用户的总数据流量相比去年春节期间就增长超过40%。

据广东移动大数据创新中心测算，综合考虑本省人员流出与外地游客流入等因素，除夕当天广东全省总人数相比平日约减少了20%，珠三角地区总人数减少了四成。2月1日春运启动后，珠三角地区总人数持续下降，到除夕当天，深圳、广州累计净流出人数均超过1100万，东莞、深圳总人数减少了五成以上。

腾讯官方数据显示，除夕到初六凌晨的六天内，微信发送总量达2297亿条，朋友圈总量28亿条，音视频通话总长175亿分钟，7.68亿人参与微信红包活动。工信部数据显示，春节七天假期，全国移动短信发送量123.7亿条，同比增长6.6%。《2017年微信数据报告》显示，每天有2.05亿人次音视频成功通话记录以及61亿条语音从微信发出，日均消息达到380亿条。音视频通话月人均成功通话次数达到19次，人均时长139分钟，较去年同期分别增长了135%和114%。

春节假期7天，移动互联网流量消费了84.9万TB，同比增长236%。除夕当日，移动数据流量消费12.1万TB，同比增长245%，初一是移动数据流量消费高峰，当日移动数据流量13万TB，同比增长234%。春节期间中国电信出动现场通信保障人员共计24850人次，应急保障车辆共计1972台次，同比分别提高16.4%和4.4%。中国移动启动I级重大节假日保障机制，针对集团客户、重要保障专线、家庭宽带、物联网等业务建立投诉绿色通道和保障快速处理流程，成立了2.7万人的保障团队。中国联通发送气象、交通公益短信6300万条，同比增长10.5%，出动各类应急保障及抢修车辆2604台次，现场应急保障人员7728人次。

部分大数据入门帖子

000

我通过 数据挖掘入门,自学人工智能,python入门,nlp是什么,统计学入门,大数据入门,爬虫是什么意思,学习大数据要什么基础,数据分析师适合女生嘛,自学大数据该怎么入手等63个入门相关关键问题，找了200篇左右的高票入门帖子。我想通过python自动抓取这些帖子每天的访问量变化，分析出这些帖子的商业价值。那么我是怎么做的呢？

001

因为我的帖子信息整理在excel里，我把它们存储成csv，以便python可以读取，要得到文章的阅读数，能通过python抓取网页，分析网页中的阅读数得到数字，所以要把csv里的url取到python里变成数组

import csv

def get_all_urls():

csv_reader=csv.reader(open("/.../url100.csv"))

r = []

for row in csv_reader:

if row[1] == 'url' or row[1] == '':

continue

r.append(row)

return r

每个网站文章页的格式不一样，意味着每个网站我们要写一个获取阅读数的方法对吧！所以我们需要一个辅助函数，拿帖子的url分析出这个帖子的域名，根据域名才能选择正确的获取方法哦～～

def get_domain(url):

domain = (url.split("/")[2])

return {

"jianshu":"简书",

"blog.csdn":"CSDN",

"zhihu":"知乎",

"zhidao.baidu":"百度知道",

"cnblogs":"CNblog",

"sohu":"搜狐",

"jingyan.baidu":"百度经验",

"blog.jobbole":"伯乐",

"douban":"豆瓣",

}.get(domain,"未知"), domain

OK！！我们的两个辅助方法都有了。

002

本文的重头戏来了～～，核心的方法

get_read_count(url, domain)

，看看名字就知道了，根据url和域名获取文章点击数。咱的思路是这样的，第一天，获取一遍所有帖子的，第二天再获取一遍，3，4，5，6天。这样，每天的每个帖子的阅读数变化就出来啦。说着容易，做起来坑不少。

坑1 我们是用requests模块get方法获取的网页全文，很多网站都会判断是不是正常的浏览器访问，咱们需要把headers写成跟浏览器请求一样，如下：

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

}

r = requests.get(url,headers=headers)

# print(r.text)

得到了网页内容，就该xpath上场了，先分析下阅读数的html特征，我们一般可以用xpath得到阅读数，比如：

if domain == 'blog.csdn': result = root.xpath("//span[@class='read-count']/text()") return (result[0].split("：")[1])

坑2 但也有很多网站用了js的方法动态获取阅读数，此时就需要动一些小小的脑筋了，此处只放出一个小例子：

if domain == 'blog.csdn':

result = root.xpath("//span[@class='read-count']/text()")

return (result[0].split("：")[1])

* 坑2 但也有很多网站用了js的方法动态获取阅读数，此时就需要动一些小小的脑筋了，此处只放出一个小例子：

if domain == 'xxx':

result = root.xpath("//span[@class='read-num']/text()")

m = re.search(r'news_id: \"\d+', r.text)

qid = (m.group().split(": \"")[1])

pvurl = "https://v2.xxx/public-api/articles/" + qid + "/pv?callback=jQuery112406240523630131836_1532664955380&_=1532664955381"

# print(pvurl)

pv = requests.get(pvurl, {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

,"Referer":url

})

return (pv.text.split("(")[1].split(")")[0])

基本思路就是这样：去找到这个文章的阅读数的请求，自己用python拼装请求，得到内容。

003

好，锅也预备了，菜也该炒了。最后一步每天遍历访问一下：

urls = get_all_urls()

# print(urls)

for i in range(len(urls)):

title = urls[i][0]

url = urls[i][1]

# print(url)

doaminName, domain = (get_domain(url))

count = (get_read_count(url, domain))

print(url + "," + doaminName + "," + count)

004

新鲜的数据来了~~~

只列出增长最高的一些数据

最后得出总计1.6w多人一天来看过这些文章，价值多少呢？

005

需要全部帖子的，需要完整分析程序的，或正在自学大数据机器学习的，可以戳下面的连接找我，我叫API1024戳我

互联网时代，最明显的一个特征就是绝大多数信息都是以数据的形式进行记录，可以说数据就是信息的载体，也是知识的来源。数据体量呈现出爆发式增长，人们在笑谈大数据时代“你的信息只值五毛钱”的时候，不得不重新认真思考它的价值。

大数据有没有价值，在于是否应用得当

随着国家将大数据战略提升到国家战略高度，将大数据视为经济发展和转型的重要科技依据，越来越多的企业组织已将数据视为重要资产，着手开展数字化转型的系列举措，以期全面提升客户体验，推动经济增长。

无疑，大数据时代，数据资产已成为一个企业的核心竞争力。但数据在手，不会运用它，就会毫无价值。在当下企业数字化浪潮中，数据是企业转型的基础元素，如何将企业不同业务、类型的数据应用起来，推动企业运营，增加收入、降低成本、提高效率，控制风险等，是企业现在面临的难点。

用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》，助力企业走出数据分析的盲区，实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集，再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合，根据不同的需求，提供差异化服务。

应用越广泛，受到的安全挑战越大

大数据技术，悄然渗透到各个行业领域，逐渐成为一种生产要素并发挥着重要作用。然而，大数据技术使得产率提高和改变生活方式的同时，随之而来的安全挑战也日益显现。

例如，政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时，数据和平台安全尤为重要。

值得一提的是，3月25日，华为云数据库安全服务正式上线，以期打造高效云上数据防护体系。华为云数据库安全服务，通过三步走的数据库安全防护设计，保障数据系统安全。第一步：定位敏感数据在数据库中所处的位置，通过构建安全策略来提早防护。第二步：通过定义基于多维度的策略，阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步：一旦发现入侵行为，采取必要措施进行封堵，以回溯和确认攻击源头，还原恶意行为的蛛丝马迹，从而进行管理措施。

大数据与人工智能携手发展

大数据与人工智能相互依托，有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树，到近期的人工智能神经网络，数据越多越有助于人工智能的发展。同时，大数据也需要更新的模式来处理它，通过这个过程发现更多隐含规律。

在当下，在未来，或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐，泰山移。独脚难行，孤掌难鸣。在互联网时代，一味地竞争已经没有未来。只有携手共求发展，或许才能创造出一个大国品牌。

（文/红薯）

中国银联1月17日发布的《2017移动互联网支付安全调查报告》显示，相比刷卡支付，74%的被访者更习惯使用移动支付，其中男性的比例更高，男性网络消费力首超越女性，不过收入越高的人越习惯刷卡；在移动支付安全性上，60后最易受骗，而90后一旦遭遇诈骗，损失金额往往比较大。70后、80后为消费主力军，其中70后中的高收入人群比例最高，51%的70后每月可支配收入在5000元以上。90后的收入虽然比其他年龄段少，但每月网上消费金额在5000元以上的比例是最高的（23%）。5成以上的消费者通过手机支付完成线下购买实物、信用卡还款、外卖、打车及充值缴费等日常支付。其中，打车、叫外卖是90后、80后常用场景；买电影票、发红包是70后常用场景，资金转账则成为60后的首选。

饿了么发布《2017年中国互联网本地生活服务蓝皮书》，用大数据还原中国人在2017年的众生“吃相”。 人群消费特性方面，2017年饿了么年度销量最高的菜品依次是皮蛋瘦肉粥、香辣鸡腿堡和酸辣土豆丝。去年，饿了么全平台总共销售了近1900万份的皮蛋瘦肉粥。根据饿了么大数据，在各个就餐时段里，夜宵和早餐所占比例在不断扩大。其中，夜宵订单的占比已经达到了9%。餐饮外卖以外，非餐饮品类也正在高速发展。商店超市、鲜花绿植、果蔬生鲜的订单量同比增速都至少在50%以上。

近日，高德地图联合交通运输部科学研究院、阿里云重磅发布了《2017年度中国主要城市交通分析报告》，该报告中公布了中国主要城市在2017年的拥堵情况排名以及对不同地域交通情况的行业分析等。2017年的年度“首堵”城市归属济南，济南虽说再次成为最拥堵的城市，但是拥堵指数较去年相比没有恶化。从榜单中看到，北京虽说没有成为年度最堵城市，但是和济南也也已经相差无几，高峰平均车速只有22.17Km/h，因北京人均GDP较高，因拥堵产生的人均经济损失高达11747元，成为榜单之中经济损失最高的一个城市。2017年，中国100个主要城市的交通状况有所好转，同比去年，有超过一半的城市的拥堵情况在2017年有所改善，仅有22%的城市拥堵情况出现上涨。这其中清远成为拥堵情况上升最快的城市，宿迁、无锡紧随其后。在这些拥堵情况上升的城市当中(22个)，仅广东就占了8个，让人意外。

《2017中国马拉松年度报告》发布报告显示，2017年全国举办1102场规模赛事（路跑赛事人数在800人以上，越野跑赛事人数300人以上），赛事规模7年增长50倍，其中，中国田径协会认证的A类赛事223场，B类赛事33场。直接参与人次498万，涉及234个城市（覆盖全国70.06%的地级市）。 中国田径协会认证马拉松赛事品牌赞助商和合作伙伴超过800家。报告预测，2020年全国马拉松规模赛事将超过1900场，中国田径协会认证赛事达到350场，各类路跑赛事参赛人数超过1000万人次。 马拉松运动产业规模将达到1200亿元。

天猫联合第一财经商业数据中心发布了《2018中国餐桌消费潮流趋势报告》，消费者购买食物时，在整体生鲜品类中，水果，海鲜及肉类销售额保持着前三位，但随着饮食健康化，水果及蔬菜销售额增速遥遥领先，而肉类呈现销售增长放缓的趋势。80,90后是线上生鲜的主要消费人群，他们成长于互联网时代，是新时代的“尝鲜一族”。 2017年最受欢迎的进口生鲜原产地TOP10国家分别是：泰国、澳大利亚、越南、智利、美国、新西兰、阿根廷、丹麦、加拿大、墨西哥。2017年增长最快的进口生鲜品类前三名分别是番薯、青口贝和桔子。

1月3日，淘宝公布了2017年十大火爆互联网公司办公室的“神器”，除了最近大热的保温杯榜上有名外，包括指尖陀螺、八仙筒、八爪鱼按摩器、头发纤维粉等也纷纷上榜。2017年，淘宝上保温杯成交额高达50亿元，而超过1半买家都来自互联网公司。不仅如此，2017年，被称为提神利器的“八仙筒”也在淘宝上完成了从“小白到爆款”的逆袭。它以持续醒脑时长可达5小时的效果征服了互联网人。

根据腾讯安全近日发布的《2017年度互联网安全报告》（以下简称《报告》）显示，2017年公共WiFi建设出现井喷，总数超过3.36亿。同时，2017年我国风险WiFi数整体呈现缓慢增长趋势，平均每月占比达11.46%，足够引起用户重视。《报告》显示，2017年我国公共WiFi总数超过3.36亿，已成为用户基本需求。同时，风险WiFi数呈现缓慢增长趋势，平均每月占总体的11.46%。2月风险WiFi占整体比例为9.62%，是全年最低点，5月占比达12.59%，为全年最高点，二者相差不大。值得注意的是，尽管风险WiFi仅占11%左右，但由于公共WiFi场所人流量大，用户用网需求多种多样。一旦中招，将面临严重数据隐私泄露、财产损失的风险，因此足以引起人们的重视。

美团旅行大数据显示，除夕当天和2月14日的机票最难抢，假期前的深圳-上海、上海-昆明还有较低折扣的机票，北京-哈尔滨、北京-重庆、广州-重庆也有折扣票可以选择。出境机票中，台北、香港、澳门、曼谷最受欢迎。从境内游目的地排行榜可以看到，一线城市仍是最具人气的目的地。北京、广州、深圳、上海、成都位列前五，重庆、西安、宁波、桂林和苏州紧随其后。其中，桂林是不少选择旅游过春节的消费者的首选，另外还有南方目的地收获了众多想要春节出游的消费者的关注，包括惠州、揭阳、清远、珠海等。

携程旅游发布了“2018雪乡旅游大数据”，揭秘了全国各地预订度假产品赴雪乡旅游的新趋势。雪乡位列十大冰雪旅游目的地第二，仅次于哈尔滨（最受欢迎的前十大冰雪旅游目的地是：哈尔滨、雪乡、亚布力、长春市、吉林市、长白山、沈阳市、漠河、呼和浩特、新疆阿勒泰）。今年冬季截至目前的统计，全国参加雪乡旅游团人均价格超过5300元，相比去年同期增长了12%。主要是今年旅游者更愿意选择体验更好的纯玩高钻级产品。人均费用最高的前10个城市是：广州、成都、深圳、苏州、杭州、贵阳、厦门、南京、武汉、宁波、上海、无锡、北京、长春、哈尔滨，广州、成都、深圳以6422元、6252元、5939元位居前三。最近的哈尔滨出发去雪乡旅游，费用也最低，人均2886元。

银联通过跟踪分析近三年(2015-2017年)春节期间境内逾150个知名商圈及境外160多个国家和地区出境游的消费交易数据发现, 2015-2017年春节期间,居民在连锁快餐方面的消费水平总体保持稳定,而在品质类餐饮方面的消费投入逐年提高,2017年春节,品质类餐饮笔均交易金额已超过500元。随着居民收入的不断提高,预计2018年春节,品质餐饮服务的笔均交易金额将进一步保持10%左右的增长态势。

大数据显示，北京、上海、广州、深圳四个一线城市，是中国春节迁徙人口最多的：2018年春节人口迁出最多的十大城市依次为：北京、上海、广州、深圳、成都、杭州、天津、武汉、南京、西安；2018年春节人口迁入最多的十大城市依次为：杭州、成都、广州、西安、昆明、南京、武汉、厦门、长沙、郑州。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...