0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可

[来自IT168]　　【IT168 评论】在大数据库领域，Python是最常被使用的编程语言，因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python，那么，可以尝试本文推荐的三大开源工具。　　(注：本文示例使用IPython，如果感兴趣，请确保已经安装)　　$ mkdir python-big-data　　$ cd python-big-data　　$ virtualenv ../venvs/python-big-data　　$ source ../venvs/python-big-data/bin/activate　　$ pip install ipython　　$ pip install pandas　　$ pip install pyspark　　$ pip install scikit-learn　　$ pip install scipy　　本文选取的示例数据是最近几天从某网站获取的实际生产日志数据，从技术层面来看，这些数据并不能算作是大数据，因为它的大小只有大约2Mb，但就演示来说已经足够了。　　如果你想获取这些示例数据，可以使用git从作者的公共GitHub存储库中下载：admintome / access-log-data　　$ git clone https://github/admintome/access-log-data.git　　数据是一个简单的CSV文件，因此每行代表一个单独的日志，字段用逗号分隔：　　2018-08-01 17:10,'www2','www_access','172.68.133.49 - - [01/Aug/2018:17:10:15 +0000] "GET /wp-content/uploads/2018/07/spark-mesos-job-complete-1024x634.png HTTP/1.0" 200 151587 "https://dzone/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"'　　以下是日志行架构：

由于对数据可执行的操作的复杂性不确定，因此本文重点选取加载数据和获取数据样本两个操作来讲解三个工具。　　1、Python Pandas　　我们讨论的第一个工具是Python Pandas。正如它的网站所述，Pandas是一个开源的Python数据分析库。它最初由AQR Capital Management于2008年4月开发，并于2009年底开源，目前由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。　　首先，启动IPython并对示例数据进行一些操作。(因为pandas是python的第三方库所以使用前需要安装一下，直接使用pip install pandas 就会自动安装pandas以及相关组件)

import pandas as pd　　headers = ["datetime", "source", "type", "log"]　　df = pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers)　　大约一秒后，我们会收到如下回复：　　[6844 rows x 4 columns]　　In [3]:　　如上所见，我们有大约7000行数据，它从中找到了四个与上述模式匹配的列。　　Pandas自动创建了一个表示CSV文件的DataFrame对象，Pandas中的DataFrame数据既可以存储在SQL数据库中，也可以直接存储在CSV文件中。接下来我们使用head()函数导入数据样本。　　In [11]: df.head()　　Out[11]:　　datetime source type log　　0 2018-08-01 17:10 www2 www_access 172.68.133.49 - - [01/Aug/2018:17:10:15 +0000]...　　1 2018-08-01 17:10 www2 www_access 162.158.255.185 - - [01/Aug/2018:17:10:15 +000...　　2 2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000...　　3 2018-08-01 17:10 www2 www_access 172.68.47.211 - - [01/Aug/2018:17:10:50 +0000]...　　4 2018-08-01 17:11 www2 www_access 141.101.96.28 - - [01/Aug/2018:17:11:11 +0000]...　　使用Python Pandas可以做很多事情， 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。　　2、PySpark　　我们讨论的第二个工具是PySpark，该工具来自Apache Spark项目的大数据分析库。　　PySpark提供了许多用于在Python中分析大数据的功能，它自带shell，用户可以从命令行运行。　　$ pyspark　　这会加载pyspark shell：　　(python-big-data)[email protected]:~/Development/access-log-data$ pyspark Python 3.6.5 (default, Apr 1 2018, 05:46:30) [GCC 7.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. 2018-08-03 18:13:38 WARN Utils:66 - Your hostname, admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) 2018-08-03 18:13:38 WARN Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address 2018-08-03 18:13:39 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.3.1 /_/ Using Python version 3.6.5 (default, Apr 1 2018 05:46:30) SparkSession available as 'spark'. >>>　　当你启动shell时，你会得到一个Web GUI查看你的工作状态，只需浏览到http：// localhost：4040即可获得PySpark Web GUI。

让我们使用PySpark Shell加载示例数据：　　dataframe = spark.read.format("csv").option("header","false").option("mode","DROPMALFORMED").option("quote","'").load("access_logs.csv")　　dataframe.show()　　PySpark提供了已创建的DataFrame示例：　　>>> dataframe2.show()　　+----------------+----+----------+--------------------+　　| _c0| _c1| _c2| _c3|　　+----------------+----+----------+--------------------+　　|2018-08-01 17:10|www2|www_access|172.68.133.49 - -...|　　|2018-08-01 17:10|www2|www_access|162.158.255.185 -...|　　|2018-08-01 17:10|www2|www_access|108.162.238.234 -...|　　|2018-08-01 17:10|www2|www_access|172.68.47.211 - -...|　　|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|　　|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|　　|2018-08-01 17:11|www2|www_access|162.158.50.89 - -...|　　|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|　　|2018-08-01 17:12|www2|www_access|172.68.47.151 - -...|　　|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|　　|2018-08-01 17:12|www2|www_access|141.101.76.83 - -...|　　|2018-08-01 17:14|www2|www_access|172.68.218.41 - -...|　　|2018-08-01 17:14|www2|www_access|172.68.218.47 - -...|　　|2018-08-01 17:14|www2|www_access|172.69.70.72 - - ...|　　|2018-08-01 17:15|www2|www_access|172.68.63.24 - - ...|　　|2018-08-01 17:18|www2|www_access|192.168.1.7 - - [...|　　|2018-08-01 17:18|www2|www_access|141.101.99.138 - ...|　　|2018-08-01 17:19|www2|www_access|192.168.1.7 - - [...|　　|2018-08-01 17:19|www2|www_access|162.158.89.74 - -...|　　|2018-08-01 17:19|www2|www_access|172.68.54.35 - - ...|　　+----------------+----+----------+--------------------+　　only showing top 20 rows　　我们再次看到DataFrame中有四列与我们的模式匹配，DataFrame此处可以被视为数据库表或Excel电子表格。　　3、Python SciKit-Learn　　任何关于大数据的讨论都会引发关于机器学习的讨论，幸运的是，Python开发人员有很多选择来使用机器学习算法。　　在没有详细介绍机器学习的情况下，我们需要获得一些执行机器学习的数据，我在本文中提供的示例数据不能正常工作，因为它不是数字类型的数据。我们需要操纵数据并将其呈现为数字格式，这超出了本文的范围，例如，我们可以按时间映射日志以获得具有两列的DataFrame：一分钟内的日志数和当前时间：　　+------------------+---+　　| 2018-08-01 17:10 | 4 |　　+------------------+---+　　| 2018-08-01 17:11 | 1 |　　+------------------+---+　　通过这种形式的数据，我们可以执行机器学习算法来预测未来可能获得的访客数量，SciKit-Learn附带了一些样本数据集，我们可以加载一些示例数据，来看一下具体如何运作。　　In [1]: from sklearn import datasets　　In [2]: iris = datasets.load_iris()　　In [3]: digits = datasets.load_digits()　　In [4]: print(digits.data)　　[[ 0. 0. 5. ... 0. 0. 0.]　　[ 0. 0. 0. ... 10. 0. 0.]　　[ 0. 0. 0. ... 16. 9. 0.]　　...　　[ 0. 0. 1. ... 6. 0. 0.]　　[ 0. 0. 2. ... 12. 0. 0.]　　[ 0. 0. 10. ... 12. 1. 0.]]　　这将加载两个用于机器学习分类的算法，用于对数据进行分类。　　结论　　在大数据领域，Python、R以及Scala是主要的参与者，开源社区中有不少针对这三者的工具，国内互联网企业一向很喜欢基于开源工具自研，选择之前不妨做好功课，抽取使用人数较多且应用场景最接近实际需求的方案。

【VIP会员服务】小鸟云匠心打造完整的VIP会员服务体系，为国内国际用户提供7*24小时服务支持、0元快速备案、100倍故障赔偿、5天无理由退款等多种服务支持和服务保障让用户尊贵售后服务，让云端部署更轻松、更高效。

如今，为了满足企业的主要需求，大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中，涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本，并发现能够让企业获利的商业洞察力。显然，大数据分析工具的市场正在不断增长。

许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。

而在这些工具中选择是一个挑战，特别是许多大数据工具只具有单一用途，而企业需要使用大数据完成许多不同的任务，因此企业的分析工具箱会变得过于充实。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主要类别。

如上所述，大数据工具都倾向于单一使用类别，并且有多种使用大数据的方式。所以可以按类别分类，然后分析每个分析工具。

大数据工具：数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

而这个领域的主要的大数据工具有：

1. Cloudera

基本上，Hadoop增加了一些额外的服务，企业将需要这些服务，因为大数据并不是一个简单的练习。 Cloudera的服务团队不仅可以帮助企业构建大数据集群，还可以帮助培训员工更好地访问数据。

2. MongoDB

MongoDB是最流行的大数据数据库，因为它适用于管理大数据经常出现的非结构化数据或频繁更改的数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品是围绕集成平台构建的，该平台结合了大数据、云计算、应用程序，以及实时数据集成、数据准备和主数据管理。

Talend大数据集成包括数据质量和治理功能。

大数据工具：数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据集往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段和其他错误来清理凌乱的数据。它是开源的软件，但它有一个可以提供帮助的大型社区。

5. DataCleaner

与OpenRefine类似，DataCleaner将半结构化数据集转换为数据可视化工具可读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. Microsoft Excel

人们可以从各种数据源导入数据。Excel对手动数据输入和复制/粘贴操作特别有用。它可以消除重复、查找、替换，拼写检查以及用于转换数据的许多公式。但它很快陷入困境，并不适用于大数据集。

大数据工具：数据挖掘

一旦数据被清理并准备好进行检查，就可以通过数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，具有非常用户友好的可视化界面，这意味着企业无需编写代码，即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一套适用于企业级的高级分析的产品，用于数据挖掘。而IBM的服务和咨询无疑是首屈一指的。

9. Teradata

Teradata为数据仓库、大数据和分析以及市场营销应用提供端到端解决方案。这一切意味着企业的业务可以真正成为一个数据驱动的业务，并提供商业服务、咨询、培训和支持。

像许多当前的大数据工具一样，RapidMiner解决方案也包含云计算解决方案

大数据工具：数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

10. Tableau

作为这一领域的领导者之一，其数据可视化工具专注于商业智能，无需编程即可创建各种地图、图表、图形等等。Tableau总共有五款产品，其中有一个名为Tableau Public的免费版本供潜在客户试用。

11. Silk

Silk是一种简单版本的Tableau，Silk可让企业将数据可视化为地图和图表，而无需任何编程。它甚至会尝试在第一次加载时自动将数据可视化。它还使得在线发布结果变得容易。

12. Chartio

Chartio使用自己的可视化查询语言，只需点击几下即可创建功能强大的仪表板，而无需了解SQL或其他建模语言。与其他不同的是，企业直接连接到数据库，因此不需要数据仓库。

13. IBM Watson Analytics

IBM Watson Analytics是机器学习(ML)和人工智能(AI)的结合，可帮助提供智能数据科学助理，为业务分析师和数据科学家提供广泛的数据科学技能集的用户指南。

三层大数据工具

普华永道移动数据和分析计划首席技术官Ritesh Ramesh说，就精密程度和市场战略而言，大数据工具分解为三层。

第一层：也是最大的一层，是一系列开源工具。每家公司都以这种方式开始，像Cloudera和Hortonworks。除了基本的基础设施。服务器和存储之外，价值非常小。大多数云计算厂商已经将这一层实现商品化。

第二层：这是大多数这些供应商已经意识到需要增加他们的市场份额的地方，他们必须在开放源代码工具之上构建一些专有应用程序，从而与其他供应商区分开。例如，Cloudera公司构建了一些类似于Hadoop内核中的数据科学平台。

第三层：这些是垂直专用的应用程序。这些公司大多与普华永道、Cognizant或埃森哲等系统集成商合作。这就是真正的价值所在，而且这也是大数据工具制造商非常有效的竞争策略。

Ramesh说，除了基本功能之外，还有三个工具需求领域。首先是数据处理工具。他说，“数据学习工具是客户进行数据质量和性能分析的工具包中的重要工具，可处理5000万行数据，以发现洞察力。”

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。 就连阿里巴巴创办人马云在演讲中也提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。

大数据不仅对阿里巴巴集团重要，对于国家来说，也是相当重要的。不管是大数据分析还是大数据开发都是未来社会发展的重要手段之一。

什么是大数据分析呢？ 大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性(Veracity)。 大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

大数据分析都有哪些工具呢？

一、 前端展现。用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。 用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。 国内的有BDP，国云数据（大数据魔镜），思迈特，FineBI等等。

二、数据仓库。有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

三、数据集市。有QlikView、 Tableau 、Style Intelligence等等。

大数据技术从业人员必读

一、Hadoop相关工具

1. Hadoop

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://hadoop.apache.org

2. Ambari

作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://ambari.apache.org

3. Avro

这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。

支持的操作系统：与操作系统无关。

相关链接：http://avro.apache.org

4. Cascading

Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。

支持的操作系统：与操作系统无关。

相关链接：http://cascading.org/projects/cascading/

5. Chukwa

Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。

支持的操作系统：Linux和OS X。

相关链接：http://chukwa.apache.org

6. Flume

Flume可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。官方网站声称：“它功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”

支持的操作系统：Linux和OS X。

相关链接：https://cwiki.apache.org/confluence/display/FLUME/Home

7. HBase

HBase是为有数十亿行和数百万列的超大表设计的，这是一种分布式数据库，可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable，不过基于Hadoop和Hadoop分布式文件系统（HDFS）而建。

支持的操作系统：与操作系统无关。

相关链接：http://hbase.apache.org

8. Hadoop分布式文件系统（HDFS）

HDFS是面向Hadoop的文件系统，不过它也可以用作一种独立的分布式文件系统。它基于Java，具有容错性、高度扩展性和高度配置性。

支持的操作系统：Windows、Linux和OS X。

相关链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html

9. Hive

Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据，这是一种类似SQL的语言。

支持的操作系统：与操作系统无关。

相关链接：http://hive.apache.org

10. Hivemall

Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法，可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。

支持的操作系统：与操作系统无关。

相关链接：https://github/myui/hivemall

11. Mahout

据官方网站声称，Mahout项目的目的是“为迅速构建可扩展、高性能的机器学习应用程序打造一个环境。”它包括用于在Hadoop MapReduce上进行数据挖掘的众多算法，还包括一些面向Scala和Spark环境的新颖算法。

支持的操作系统：与操作系统无关。

相关链接：http://mahout.apache.org

12. MapReduce

作为Hadoop一个不可或缺的部分，MapReduce这种编程模型为处理大型分布式数据集提供了一种方法。它最初是由谷歌开发的，但现在也被本文介绍的另外几个大数据工具所使用，包括CouchDB、MongoDB和Riak。

支持的操作系统：与操作系统无关。

相关链接：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

13. Oozie

这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。

支持的操作系统：Linux和OS X。

相关链接：http://oozie.apache.org

14. Pig

Apache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言，拥有简化的并行编程、优化和可扩展性等优点。

支持的操作系统：与操作系统无关。

相关链接：http://pig.apache.org

15. Sqoop

企业经常需要在关系数据库与Hadoop之间传输数据，而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase，并从Hadoop导出到关系数据库管理系统（RDBMS）。

支持的操作系统：与操作系统无关。

相关链接：http://sqoop.apache.org

16. Spark

作为MapReduce之外的一种选择，Spark是一种数据处理引擎。它声称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://spark.apache.org

17. Tez

Tez建立在Apache Hadoop YARN的基础上，这是“一种应用程序框架，允许为任务构建一种复杂的有向无环图，以便处理数据。”它让Hive和Pig可以简化复杂的任务，而这些任务原本需要多个步骤才能完成。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://tez.apache.org

18. Zookeeper

这种大数据管理工具自称是“一项集中式服务，可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。

支持的操作系统：Linux、Windows（只适合开发环境）和OS X（只适合开发环境）。

相关链接：http://zookeeper.apache.org

二、大数据分析平台和工具

19. Disco

Disco最初由诺基亚开发，这是一种分布式计算框架，与Hadoop一样，它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。

支持的操作系统：Linux和OS X。

相关链接：http://discoproject.org

20. HPCC

作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。

支持的操作系统：Linux。

相关链接：http://hpccsystems

21. Lumify

Lumify归Altamira科技公司（以国家安全技术而闻名）所有，这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版，就能看看它的实际效果。

支持的操作系统：Linux。

相关链接：http://jboss.org/infinispan.html

22. Pandas

Pandas项目包括基于Python编程语言的数据结构和数据分析工具。它让企业组织可以将Python用作R之外的一种选择，用于大数据分析项目。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://pandas.pydata.org

23. Storm

Storm现在是一个Apache项目，它提供了实时处理大数据的功能（不像Hadoop只提供批任务处理）。其用户包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。

支持的操作系统：Linux。

相关链接：https://storm.apache.org

三、数据库/数据仓库

24. Blazegraph

Blazegraph之前名为“Bigdata”，这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本，也有使用商业许可证的版本。

支持的操作系统：与操作系统无关。

相关链接：http://systap/bigdata

25. Cassandra

这种NoSQL数据库最初由Facebook开发，现已被1500多家企业组织使用，包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群；比如说，苹果部署的Cassandra系统就包括75000多个节点，拥有的数据量超过10 PB。

支持的操作系统：与操作系统无关。

相关链接：http://cassandra.apache.org

26. CouchDB

CouchDB号称是“一款完全拥抱互联网的数据库”，它将数据存储在JSON文档中，这种文档可以通过Web浏览器来查询，并且用JavaScript来处理。它易于使用，在分布式上网络上具有高可用性和高扩展性。

支持的操作系统：Windows、Linux、OS X和安卓。

相关链接：http://couchdb.apache.org

27. FlockDB

由推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库，擅长存储社交网络数据。虽然它仍可用于下载，但是这个项目的开源版已有一段时间没有更新了。

支持的操作系统：与操作系统无关。

相关链接：https://github/twitter/flockdb

28. Hibari

这个基于Erlang的项目自称是“一种分布式有序键值存储系统，保证拥有很强的一致性”。它最初是由Gemini Mobile Technologies开发的，现在已被欧洲和亚洲的几家电信运营商所使用。

支持的操作系统：与操作系统无关。

相关链接：http://hibari.github.io/hibari-doc/

29. Hypertable

Hypertable是一种与Hadoop兼容的大数据数据库，承诺性能超高，其用户包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支持服务。

支持的操作系统：Linux和OS X。

相关链接：http://hypertable.org

30. Impala

Cloudera声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。

支持的操作系统：Linux和OS X。

相关链接：http://cloudera/content/cloudera/en/products-and-services/cdh/impala.html

31. InfoBright社区版

InfoBright为数据分析而设计，这是一种面向列的数据库，具有很高的压缩比。InfoBright提供基于同一代码的收费产品，提供支持服务。

支持的操作系统：Windows和Linux。

相关链接：http://infobright.org

32. MongoDB

mongoDB的下载量已超过1000万人次，这是一种极其受欢迎的NoSQL数据库。MongoDB上提供了企业版、支持、培训及相关产品和服务。

支持的操作系统：Windows、Linux、OS X和Solaris。

相关链接：http://mongodb.org

33. Neo4j

Neo4j自称是“速度最快、扩展性最佳的原生图形数据库”，它承诺具有大规模扩展性、快速的密码查询性能和经过改进的开发效率。用户包括电子港湾、必能宝（Pitney Bowes）、沃尔玛、德国汉莎航空公司和CrunchBase。

支持的操作系统：Windows和Linux。

相关链接：http://neo4j.org

34. OrientDB

这款多模型数据库结合了图形数据库的一些功能和文档数据库的一些功能。提供收费支持、培训和咨询等服务。

支持的操作系统：与操作系统无关。

相关链接：http://orientdb.org/index.htm

35. Pivotal Greenplum Database

Pivotal声称，Greenplum是“同类中最佳的企业级分析数据库”，能够非常快速地对庞大的海量数据进行功能强大的分析。它是Pivotal大数据库套件的一部分。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://pivotal.io/big-data/pivotal-greenplum-database

36. Riak

Riak“功能完备”，有两个版本：KV是分布式NoSQL数据库，S2提供了面向云环境的对象存储。它既有开源版，也有商业版，还有支持Spark、Redis和Solr的附件。

支持的操作系统：Linux和OS X。

相关链接：http://basho/riak-0-10-is-full-of-great-stuff/

37. Redis

Redis现在由Pivotal赞助，这是一种键值缓存和存储系统。提供收费支持。要注意：虽然该项目并不正式支持Windows，不过微软在GitHub上有一个Windows派生版。

支持的操作系统：Linux。

相关链接：http://redis.io

四、商业智能

38. Talend Open Studio

Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://talend/index.php

39. Jaspersoft

Jaspersoft提供了灵活、可嵌入的商业智能工具，用户包括众多企业组织：高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外，它还提供收费的报表版、亚马逊网络服务（AWS）版、专业版和企业版。

支持的操作系统：与操作系统无关。

相关链接：http://jaspersoft

40. Pentaho

Pentaho归日立数据系统公司所有，它提供了一系列数据整合和业务分析工具。官方网站上提供了三个社区版；访问Pentaho，即可了解收费支持版方面的信息。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://community.pentaho

41. SpagoBI

Spago被市场分析师们称为“开源领袖”，它提供商业智能、中间件和质量保证软件，另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源，不过也提供收费的支持、咨询、培训及其他服务。

支持的操作系统：与操作系统无关。

相关链接：http://spagoworld.org/xwiki/bin/view/SpagoWorld/

42. KNIME

KNIME的全称是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），这是一种开源分析和报表平台。提供了几个商业和开源扩展件，以增强其功能。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://knime.org

43. BIRT

BIRT的全称是“�...

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

在今年的 Bossie开源大数据工具中，你会发现最新最好的方法是利用大型集群进行索引、搜索、图形处理、流处理、结构化查询、分布式OLAP和机器学习，因为众多处理器和RAM可降低工作量级。

处理大数据可能会遇到各种各样的问题，目前没有任何工具可以完美地处理这一切——即便是Spark。

Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项，根据这些软件对开源界的贡献，以及在业界的影响力评判获奖对象。本次InfoWorld评选出了13款最佳开源大数据工具，Spark、Beam都名列榜单之上。

Spark

Spark是写在Scala中的内存分布式处理框架，在Apache的大数据项目中非常火爆。随着Spark 2.0版本的发布，它的优势似乎在延续。除了SQL语句实现等基础功能，新版本的Spark在性能上也大幅提升。Spark 2.0在DataFrames的基础上进一步完善，比如新的Structured Streaming API 等。这一切改变使Spark程序员的操作更清楚简单，但Structured Streaming 可能会有较大改变。

从RDD的批处理进程转变为无边界的DataFrame概念，Structured Streaming将使某些特定场景的流处理(比如捕获数据变更和位置更新)更容易实现，允许DataFrame本身的窗口时间序列，而不是进入流管道的新事件，这是Spark流式处理长期以来的痛点，尤其是与Apache Flink和Apache Beam相比，Saprk 2.0终于弥补了这块空白。如果你至今没有学会Spark，你就OUT了。

Beam

Google Beam是Apache的孵化器项目，提供了一种不需要每次改变引擎都重写代码的方式。目前看来，Spark可能是未来的编程模型，但如果不是呢?此外，如果你对一些扩展功能和Google DataFlow性能感兴趣，你可以自己在Beam平台编写代码并在DataFlow，Spark甚至是Flink上运行。我们很喜欢即写即运行的想法，但Beam不支持类似REPL的开发者功能，但未来它将是一款不错的分析工具。

TensorFlow

TensorFlow是Google针对机器学习提出的开源软件，无论是字符识别，图像识别，自然语言处理还是其他复杂的机器学习应用，TensorFlow可能都是你的首选。

TensorFlow是用C++写的，但支持Python。此外，它最终会呈现出一个十分方便的方式运行分布式代码，优化GPS和CPU的并行代码。这将是下一个大数据工具，未来将会持续进行讨论。

Solr

作为Hadoop重量级厂商Hortonworks，Cloudera以及MapR等的选择，Apache Solr为企业带来可信任的、成熟的搜索引擎技术。Solr基于Apache Lucene引擎，这两个项目共享于许多社区。你可以在类似Instagram，Zappos，Comcast和DuckDuckGO等企业场景背后发现 Solr的身影。

Solr中的SolrCloud，是利用Apache ZooKeeper创建可伸缩、分布式的搜索和索引解决方案，并且高度抵御分布式系统类似脑裂等常见问题。伴随着可靠性，SolrCloud的规模可按需变化，并且它足够成熟可以处理数十亿文档之间的大量查询请求。

Elasticsearch

Elasticsearch同样基于Apache Lucene引擎，是针对现在的REST API 和JSON文档概念的开源分布式搜索引擎。Elasticsearch集群数据从GB向PB级扩展十分容易，只需要很低的处理开销。

作为ELK堆栈的一部分(Elasticsearch，Logastash和Kibana都是由Elasticsearch创造者Elastic创造的)，Elasticsearch已经发现了它作为开源Splunk替代日志分析的杀手级应用。类似于 Nteflix，Facebook，Microsoft以及Linkedln公司在日志基础架构上会选择运行大型Elasticsearch集群。此外，ELK堆栈正在寻找其他方向，比如欺诈检测和特定领域的业务分析，这将使Elasticsearch在更多企业得到使用。

SlamData

未来对SlamData来说是一场长途旅行。为什么会选择使用MongoDB作为分析解决方案呢?可能因为这是一个可操作数据库。然而，正如 SlamData的Jeff Carr所言，它并不疯狂。有很多MongoDB方向新的公司和年轻的开发者产生，如果你使用MongoDB数据存储，并且需要运行基础的分析，你要创建整个Hadoop集群或者其他设施报告吗?SlamData允许用熟悉的SQL语法来进行JSON数据的嵌套查询，不需要转换或语法改造。

该技术的主要特点之一是它的连接器。从MongoDB，HBase，Cassandra和Apache的Spark，SlamData同大多数业界标准的外部数据源可以方便的进行整合，并进行数据转换和分析数据。SlamData有基于SQL的引擎，本质上说和MongoDB类似，但不像MongoDB 有自己的解决方案，SlamData并没有吸纳PostgreSQL的所有数据，并称之为BI连接。既然核心技术是开源的，我认为可以期待未来有更多公司采用其技术不断完善该领域产品。

Impala

Apache Impala是针对Hadoop上SQL处理的Cloudera引擎。如果你正在使用Hive，Impala是一种不需要你重复考虑任何事情就可以达到查询性能的简单方法。基于行的分布式大规模并行处理系统，Impala相比于在Spark上组合Hive更加成熟和彻底。即便没有太多的调优，Impala 还是可以提高性能，并且一定比你付出同样努力使用Tez的效果要好。如果你在HDFS的文件之上需要使用SQL，Impala可能是最好的选择。

Kylin

如果你正在做N维立方体分析和现代大数据框架，Kylin很对你的口。如果你从没听说过OLAP多维数据集，没关系。如果你正在考虑RDBMS中存在一对多关系表，但有一部分需要计算字段，你可以选择在SQL里进行查询和计算，但是这太缓慢了。当我们的关系和计算量更多更复杂时，又该怎么办呢?不是平面的表，把它们想象成立方体组成的若干块，每一块事先预计价值。你可能有N维或多维数据。Kylin当然不是第一个实现分布式OLAP的，但它是最先进的技术之一，并且目前可以下载并安装在云端。

Kafka

Kafka是非常标准的分布式发布和订阅标准，现在已经用于世界上一些比较大的系统，Kafka的消息传递更加可靠，尽管与之前的系统不同，通过分布式提交日志保持耐久性。然而，Kafka的分区流处理支持高速数据加载和大量用户。比较讽刺的是，尽管所有这些功能已经足够让人惊讶了，但Kafka十分容易安装部署，这在大数据和消息传递规则里是个例外。

StreamSets

你可能有一些数据需要处理，这些数据可能在文件夹里(比如网络日志)或者正在Kafka上传递，虽然有很多方法可以实现，但使用StreamSets可以在最短的时间内做你想做的任何事情，它比其他解决方案更加完整。也有越来越多的强壮的连接器 (HDFS，Hive，Kafka，Kinesis)，REST API，和GUI来监控数据流动，这也正是他们一直在努力做的事情。

Titan

直到人们意识到使用图表进行存储非常有用，图形数据库才开始火了起来。一个携带所有附件可插拔式存储的复杂数据库，本质上是指高度可分配的数据库列族。与其他图形数据库相比，Titan可以扩展。与严格的图形分析框架相比，Titan可以提供更好的性能，相比于Giraph，不需要使用内存资源或者时间重构图形，相当于GiraphX，更不用说潜在的优秀的数据完整性特征。

Zeppelin

无论你是一个只想要美观图形的开发者，还是想成为数据科学家，Zeppelin可能都适合你，它使用似曾相识的类似于IPython的笔记本概念，允许通过写标记，嵌入式代码，执行代码，它存在于Spark或其他引擎中，通过生成文本，表格或者图表形式输出。Zeppelin仍然缺乏一些特性和多功能DataBrick，但它正在稳步前进。如果你使用Spark，Zeppelin就存在于工具包中。

本文地址：http://linuxprobe/bossies-2016.html编辑员：郭建鹏，审核员：杨鹏飞

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。

为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍ApacheMesos及YARN：

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapReduce1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。