如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品

众所周知，选择一款好用的大数据可视化展示工具是很多企业的共同问题。现在市面上，有很多的大数据可视化工具，国内外的，价位也不同。但是如果能万里挑一，选中一款适合自家企业的大数据可视化BI产品，可以说如虎添翼，实现企业大数据完美落地之路。因为，优秀的大数据可视化展示工具，不仅仅是使用敏捷，而且还可以帮助企业家更好地做决策，这一点是很多大数据可视化工具很难实现的一个高度。

那接下来就回到本文的主题：选择一款大数据可视化展示工具，要几步？其实，挑选BI工具没有固定的步骤，只是说在挑选过程中，客户应该看重和考察哪些功能点，综合考虑之后再敲定。而一款优秀的大数据可视化展示工具核心在于优秀的商业智能解决方案。那么，目前最新的对于优秀的商业智能解决方案的要求，都有哪些呢？

采用动态报告

当企业需要实施商业智能解决方案时您应该考虑动态报告。动态报告可以随意创建，操作和修改。

它们旨在为企业提供想要的信息。企业可以通过添加、过滤，以及更改信息来控制如何查看数据。

当企业使用动态报告分析销售指标时，可以按地区，产品或客户细分信息。简而言之，动态报告是直接而直观的。静态分析报告无法提供其相同的灵活性。一旦建立了静态报告，就不能改变其基本结构。

对于像提交月度报告和季度报告，这可能没有问题，但是，企业将无法深入分析数据。

自助式商业智能

在数据分析方面，传统上只有专家能够理解复杂的报告。而另一方面，商业智能使数据分析更加简单。现在任何级别的用户都可以随时轻松访问数据。这就是为什么自助式商业智能越来越受欢迎的原因。它允许人们使用商业智能解决方案来实时研究数据，并自行构建准确的可视化报告。

选择合适的商业智能提供商提供的解决方案，将为企业的工作人员提供易用性。

移动商业智能

根据阿伯丁集团的数据，使用移动商业智能的公司比没有采用的公司有更多的时间获得商业数据。这是一个竞争优势，因为能够做出明智的商业决策。

着眼未来

对商业智能解决方案的投资是企业对其业务未来的投资。如果企业选择一个正在向前发展的供应商，其业务也将向前发展。许多供应商声称其正在寻找方向，但实际上他们正在追赶。

获得权利

一个优秀的商业智能提供商已经投入巨资为您的整个业务交付结果，而不仅仅是销售。

顶级的大数据可视化展示工具供应商可以深入了解客户的购买模式，库存水平和财务数据。他们甚至应该为复杂的业务领域提供解决方案，例如回扣。

企业应该选择一个用户友好的产品，并提供简单的仪表板。供应商应提供卓越的客户支持，愿意帮助企业实现目标。因为优秀的大数据可视化展示工具供应商可以为客户带来快乐。

在今年的 Bossie开源大数据工具中，你会发现最新最好的方法是利用大型集群进行索引、搜索、图形处理、流处理、结构化查询、分布式OLAP和机器学习，因为众多处理器和RAM可降低工作量级。

处理大数据可能会遇到各种各样的问题，目前没有任何工具可以完美地处理这一切——即便是Spark。

Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项，根据这些软件对开源界的贡献，以及在业界的影响力评判获奖对象。本次InfoWorld评选出了13款最佳开源大数据工具，Spark、Beam都名列榜单之上。

Spark

Spark是写在Scala中的内存分布式处理框架，在Apache的大数据项目中非常火爆。随着Spark 2.0版本的发布，它的优势似乎在延续。除了SQL语句实现等基础功能，新版本的Spark在性能上也大幅提升。Spark 2.0在DataFrames的基础上进一步完善，比如新的Structured Streaming API 等。这一切改变使Spark程序员的操作更清楚简单，但Structured Streaming 可能会有较大改变。

从RDD的批处理进程转变为无边界的DataFrame概念，Structured Streaming将使某些特定场景的流处理(比如捕获数据变更和位置更新)更容易实现，允许DataFrame本身的窗口时间序列，而不是进入流管道的新事件，这是Spark流式处理长期以来的痛点，尤其是与Apache Flink和Apache Beam相比，Saprk 2.0终于弥补了这块空白。如果你至今没有学会Spark，你就OUT了。

Beam

Google Beam是Apache的孵化器项目，提供了一种不需要每次改变引擎都重写代码的方式。目前看来，Spark可能是未来的编程模型，但如果不是呢?此外，如果你对一些扩展功能和Google DataFlow性能感兴趣，你可以自己在Beam平台编写代码并在DataFlow，Spark甚至是Flink上运行。我们很喜欢即写即运行的想法，但Beam不支持类似REPL的开发者功能，但未来它将是一款不错的分析工具。

TensorFlow

TensorFlow是Google针对机器学习提出的开源软件，无论是字符识别，图像识别，自然语言处理还是其他复杂的机器学习应用，TensorFlow可能都是你的首选。

TensorFlow是用C++写的，但支持Python。此外，它最终会呈现出一个十分方便的方式运行分布式代码，优化GPS和CPU的并行代码。这将是下一个大数据工具，未来将会持续进行讨论。

Solr

作为Hadoop重量级厂商Hortonworks，Cloudera以及MapR等的选择，Apache Solr为企业带来可信任的、成熟的搜索引擎技术。Solr基于Apache Lucene引擎，这两个项目共享于许多社区。你可以在类似Instagram，Zappos，Comcast和DuckDuckGO等企业场景背后发现 Solr的身影。

Solr中的SolrCloud，是利用Apache ZooKeeper创建可伸缩、分布式的搜索和索引解决方案，并且高度抵御分布式系统类似脑裂等常见问题。伴随着可靠性，SolrCloud的规模可按需变化，并且它足够成熟可以处理数十亿文档之间的大量查询请求。

Elasticsearch

Elasticsearch同样基于Apache Lucene引擎，是针对现在的REST API 和JSON文档概念的开源分布式搜索引擎。Elasticsearch集群数据从GB向PB级扩展十分容易，只需要很低的处理开销。

作为ELK堆栈的一部分(Elasticsearch，Logastash和Kibana都是由Elasticsearch创造者Elastic创造的)，Elasticsearch已经发现了它作为开源Splunk替代日志分析的杀手级应用。类似于 Nteflix，Facebook，Microsoft以及Linkedln公司在日志基础架构上会选择运行大型Elasticsearch集群。此外，ELK堆栈正在寻找其他方向，比如欺诈检测和特定领域的业务分析，这将使Elasticsearch在更多企业得到使用。

SlamData

未来对SlamData来说是一场长途旅行。为什么会选择使用MongoDB作为分析解决方案呢?可能因为这是一个可操作数据库。然而，正如 SlamData的Jeff Carr所言，它并不疯狂。有很多MongoDB方向新的公司和年轻的开发者产生，如果你使用MongoDB数据存储，并且需要运行基础的分析，你要创建整个Hadoop集群或者其他设施报告吗?SlamData允许用熟悉的SQL语法来进行JSON数据的嵌套查询，不需要转换或语法改造。

该技术的主要特点之一是它的连接器。从MongoDB，HBase，Cassandra和Apache的Spark，SlamData同大多数业界标准的外部数据源可以方便的进行整合，并进行数据转换和分析数据。SlamData有基于SQL的引擎，本质上说和MongoDB类似，但不像MongoDB 有自己的解决方案，SlamData并没有吸纳PostgreSQL的所有数据，并称之为BI连接。既然核心技术是开源的，我认为可以期待未来有更多公司采用其技术不断完善该领域产品。

Impala

Apache Impala是针对Hadoop上SQL处理的Cloudera引擎。如果你正在使用Hive，Impala是一种不需要你重复考虑任何事情就可以达到查询性能的简单方法。基于行的分布式大规模并行处理系统，Impala相比于在Spark上组合Hive更加成熟和彻底。即便没有太多的调优，Impala 还是可以提高性能，并且一定比你付出同样努力使用Tez的效果要好。如果你在HDFS的文件之上需要使用SQL，Impala可能是最好的选择。

Kylin

如果你正在做N维立方体分析和现代大数据框架，Kylin很对你的口。如果你从没听说过OLAP多维数据集，没关系。如果你正在考虑RDBMS中存在一对多关系表，但有一部分需要计算字段，你可以选择在SQL里进行查询和计算，但是这太缓慢了。当我们的关系和计算量更多更复杂时，又该怎么办呢?不是平面的表，把它们想象成立方体组成的若干块，每一块事先预计价值。你可能有N维或多维数据。Kylin当然不是第一个实现分布式OLAP的，但它是最先进的技术之一，并且目前可以下载并安装在云端。

Kafka

Kafka是非常标准的分布式发布和订阅标准，现在已经用于世界上一些比较大的系统，Kafka的消息传递更加可靠，尽管与之前的系统不同，通过分布式提交日志保持耐久性。然而，Kafka的分区流处理支持高速数据加载和大量用户。比较讽刺的是，尽管所有这些功能已经足够让人惊讶了，但Kafka十分容易安装部署，这在大数据和消息传递规则里是个例外。

StreamSets

你可能有一些数据需要处理，这些数据可能在文件夹里(比如网络日志)或者正在Kafka上传递，虽然有很多方法可以实现，但使用StreamSets可以在最短的时间内做你想做的任何事情，它比其他解决方案更加完整。也有越来越多的强壮的连接器 (HDFS，Hive，Kafka，Kinesis)，REST API，和GUI来监控数据流动，这也正是他们一直在努力做的事情。

Titan

直到人们意识到使用图表进行存储非常有用，图形数据库才开始火了起来。一个携带所有附件可插拔式存储的复杂数据库，本质上是指高度可分配的数据库列族。与其他图形数据库相比，Titan可以扩展。与严格的图形分析框架相比，Titan可以提供更好的性能，相比于Giraph，不需要使用内存资源或者时间重构图形，相当于GiraphX，更不用说潜在的优秀的数据完整性特征。

Zeppelin

无论你是一个只想要美观图形的开发者，还是想成为数据科学家，Zeppelin可能都适合你，它使用似曾相识的类似于IPython的笔记本概念，允许通过写标记，嵌入式代码，执行代码，它存在于Spark或其他引擎中，通过生成文本，表格或者图表形式输出。Zeppelin仍然缺乏一些特性和多功能DataBrick，但它正在稳步前进。如果你使用Spark，Zeppelin就存在于工具包中。

本文地址：http://linuxprobe/bossies-2016.html编辑员：郭建鹏，审核员：杨鹏飞

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

【VIP会员服务】小鸟云匠心打造完整的VIP会员服务体系，为国内国际用户提供7*24小时服务支持、0元快速备案、100倍故障赔偿、5天无理由退款等多种服务支持和服务保障让用户尊贵售后服务，让云端部署更轻松、更高效。

如今，为了满足企业的主要需求，大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中，涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本，并发现能够让企业获利的商业洞察力。显然，大数据分析工具的市场正在不断增长。

许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。

而在这些工具中选择是一个挑战，特别是许多大数据工具只具有单一用途，而企业需要使用大数据完成许多不同的任务，因此企业的分析工具箱会变得过于充实。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主要类别。

如上所述，大数据工具都倾向于单一使用类别，并且有多种使用大数据的方式。所以可以按类别分类，然后分析每个分析工具。

大数据工具：数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

而这个领域的主要的大数据工具有：

1. Cloudera

基本上，Hadoop增加了一些额外的服务，企业将需要这些服务，因为大数据并不是一个简单的练习。 Cloudera的服务团队不仅可以帮助企业构建大数据集群，还可以帮助培训员工更好地访问数据。

2. MongoDB

MongoDB是最流行的大数据数据库，因为它适用于管理大数据经常出现的非结构化数据或频繁更改的数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品是围绕集成平台构建的，该平台结合了大数据、云计算、应用程序，以及实时数据集成、数据准备和主数据管理。

Talend大数据集成包括数据质量和治理功能。

大数据工具：数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据集往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段和其他错误来清理凌乱的数据。它是开源的软件，但它有一个可以提供帮助的大型社区。

5. DataCleaner

与OpenRefine类似，DataCleaner将半结构化数据集转换为数据可视化工具可读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. Microsoft Excel

人们可以从各种数据源导入数据。Excel对手动数据输入和复制/粘贴操作特别有用。它可以消除重复、查找、替换，拼写检查以及用于转换数据的许多公式。但它很快陷入困境，并不适用于大数据集。

大数据工具：数据挖掘

一旦数据被清理并准备好进行检查，就可以通过数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，具有非常用户友好的可视化界面，这意味着企业无需编写代码，即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一套适用于企业级的高级分析的产品，用于数据挖掘。而IBM的服务和咨询无疑是首屈一指的。

9. Teradata

Teradata为数据仓库、大数据和分析以及市场营销应用提供端到端解决方案。这一切意味着企业的业务可以真正成为一个数据驱动的业务，并提供商业服务、咨询、培训和支持。

像许多当前的大数据工具一样，RapidMiner解决方案也包含云计算解决方案

大数据工具：数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

10. Tableau

作为这一领域的领导者之一，其数据可视化工具专注于商业智能，无需编程即可创建各种地图、图表、图形等等。Tableau总共有五款产品，其中有一个名为Tableau Public的免费版本供潜在客户试用。

11. Silk

Silk是一种简单版本的Tableau，Silk可让企业将数据可视化为地图和图表，而无需任何编程。它甚至会尝试在第一次加载时自动将数据可视化。它还使得在线发布结果变得容易。

12. Chartio

Chartio使用自己的可视化查询语言，只需点击几下即可创建功能强大的仪表板，而无需了解SQL或其他建模语言。与其他不同的是，企业直接连接到数据库，因此不需要数据仓库。

13. IBM Watson Analytics

IBM Watson Analytics是机器学习(ML)和人工智能(AI)的结合，可帮助提供智能数据科学助理，为业务分析师和数据科学家提供广泛的数据科学技能集的用户指南。

三层大数据工具

普华永道移动数据和分析计划首席技术官Ritesh Ramesh说，就精密程度和市场战略而言，大数据工具分解为三层。

第一层：也是最大的一层，是一系列开源工具。每家公司都以这种方式开始，像Cloudera和Hortonworks。除了基本的基础设施。服务器和存储之外，价值非常小。大多数云计算厂商已经将这一层实现商品化。

第二层：这是大多数这些供应商已经意识到需要增加他们的市场份额的地方，他们必须在开放源代码工具之上构建一些专有应用程序，从而与其他供应商区分开。例如，Cloudera公司构建了一些类似于Hadoop内核中的数据科学平台。

第三层：这些是垂直专用的应用程序。这些公司大多与普华永道、Cognizant或埃森哲等系统集成商合作。这就是真正的价值所在，而且这也是大数据工具制造商非常有效的竞争策略。

Ramesh说，除了基本功能之外，还有三个工具需求领域。首先是数据处理工具。他说，“数据学习工具是客户进行数据质量和性能分析的工具包中的重要工具，可处理5000万行数据，以发现洞察力。”