同 享 网 络 安 全

共 治 网 络 社 会

广州网警巡查执法

数据可视化之初级篇

零编程工具

1. Tableau

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形，表格和地图。 它不仅提供了PC桌面版，还提供了服务器解决方案，可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行，Pandora和Citrix等企业

2. Infogram

Infogram的最大优势在于，让您的可视化信息图表与实时大数据相链接。只须三个简单步骤，您可以选择在众多图表，地图，甚至是视频可视化模板中进行选择。 Infogram支持团队账号。

3. ChartBlocks

ChartBlocks是一个易于使用在线工具，它无需编码，便能从电子表格，数据库中构建可视化图表。整个过程可以在图表向导的指导下完成。您的图表将在HTML5的框架下使用强大的JavaScript库D3.js创建图表。你的图表是响应式的，并且可以和任何的屏幕尺寸及设备兼容。 您还可以将图表嵌入任何网页中，分享在Twitter和Facebook上。

4. Datawrapper

Datawrapper是一款专注于新闻和出版的可视化工具。华盛顿邮报，卫报，华尔街日报和Twitter等媒体都使用了这一工具。Datawrapper非常容易使用，不需要任何编程基础。你只需要上传你的数据，便能轻松地创建和发布图表，甚至是地图。Datawrapper提供了众多的自定义布局及地图模板。

5. Plotly

Plotly帮助你在短短几分钟内，从简单的电子表格中开始创建漂亮的图表。Plotly已经为谷歌、美国空军和纽约大学等机构所使用。 Plotly是一个非常人性化的网络工具，让你在几分钟内启动。如果你的团队希望为JavaScript和Python等编程语言提供一个API接口的话，Plotly是一款非常人性化的工具。

6. RAW

RAW弥补了很多工具在电子表格和矢量图形（SVG）之间的缺失环节。你的大数据可以来自MicrosoftExcel中，谷歌文档或是一个简单的逗号分隔的列表。它最厉害的功能是可以很容易地导出可视化结果，因为它和Adobe Illustrator，Sketch 和Inkscape是相容的。

7. Visual.ly

Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，用户包括了VISA，耐克，Twitter，福特和国家地理等。如果你想完全外包可视化文件给第三方。你可以使用非常简化的在线流程：你只需描述你的项目，服务团队将在项目的整个持续时间内和你在一起。 Visual.ly给您发送所有项目关键点的邮件通知，也将让你不断给出反馈。

数据可视化之开发展篇

JavaScript库

8. D3.js

毋容置疑D3.js是最好的数据可视化工具库。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是开源工具，使用数据驱动的方式创建漂亮的网页。 D3.js可实现实时交互。这个库非常强大和前沿，所以它带有没有预置图表也不支持IE9。

9. Ember Charts

Ember Charts – 顾名思义是一种基于Ember.js框架和使用d3.js的可视化工具。Ember Charts以绘制时间序列图，柱状图，饼图和散点图为主。它非常优易于扩展。同为Ember.js开发团队，Ember Charts聚焦于图形互动性。它有极强的错误处理能力，当你遇到坏数据时，系统也不会崩溃。

10. NVD3

NVD3运行在d3.js之上, 它可建立可重用的图表组件。该项目的目标是保持所有的图表整洁和可定制性。 NVD3是d3.js之上的简单的接口，保持了d3.js的所有强大功能。 NVD3由Novus Partners前端工程师开发和使其保持了图表技术洞察力。

11. Google Charts

Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器。所有您将创建的图表是交互式的，有的还可缩放。Google Charts是非常人性化和他们的网站拥有一个非常好的，全面的模板库，你可以从中找到所需模板。

12. FusionCharts

FusionCharts是最全面的JavaScript图表库，包括90个图表和900种地图。如果你不是特别喜欢的JavaScript。FusionCharts可以轻松集成像jQuery库，Angularjs和React框架以及ASP.NET和PHP语言。 FusionCharts支持JSON和XML数据，并提供许多格式图表：PNG，JPEG，SVG和PDF。

13. Highcharts

Highcharts是一个JavaScript API与jQuery的集成，全球最大的100家公司中有61家正在使用它。图表使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型：Highstock和Highmaps，并且还配备了一系列的插件。你可以免费使用它，而如果你想建立付费的应用，只须支付少量牌照费用。此外，你还可以使用Highcharts云服务。

14. Chart.js

对于一个小项目的图表，chart.js是一个很好的选择。开源，只有11KB大小，这使得它快速且易于使用，它支持多种图表类型: 饼图，线性图和雷达图等。

15. Leaflet

你是否专注于专业的大数据解决方案？无需饼图和条形图？Leafleft 基于Open Street Map数据，使用HTML5 / CSS3绘制互动式可视化图。您可以使用他们的扩展插件库添加热点图（heatmaps）和动画标记。 Leaflet 是开源和只有33 KB大小。

16. Chartist.js

Chartist.js的开发社区一直致力于打败所有其他JavaScript图表库。它使用了Sass的个性化风格，它的SVG输出是响应式的。

17. n3-charts

N3-charts是一种基于AngularJS框架的工具。它建立在D3.js之上，帮助您创建简单的互动图表。 N3-charts是一种小型化的图表工具，不适用于大型项目。

18. Sigma JS

Sigma JS 是交互式可视化工具库。由于使用了WebGL技术，你可以使用鼠标和触摸的方式来更新和变换图表。Sigma JS同时支持JSON和GEXF两种数据格式。这为它提供了大量的可用互动式插件。Sigma JS 专注于网页格式的网络图可视化。因此它在大数据网络可视化中非常有用。

19. Polymaps

Polymaps是一款地图可视化一个JavaScript工具库。 Polymaps使用SVG实现从国家到街道一级地理数据的可视化。您可以使用CSS格式来修改你的样式。Polymaps使用GeoJSON来解释地理数据。它是创建heatmap热点图的最好的工具之一。您创建的所有地图都可以变成动态图。

20. Processing.js

Processing.js是一个基于可视化编程语言的JavaScript库。作为一种面向Web的JavaScript库，Processing.js是您能够有效进行网页格式图表处理。这使得它成为了一种非常好交换式可视化工具。 Processing.js需要一个兼容HTML5的浏览器来实现这一功能。

来源：数据分析

精彩回顾

图解：建设网络强国，习近平在网信工作会上提出这些重大论断！

朋友圈这样发很危险！但这些事很多人不知道……

他们正在微信朋友圈窃取你的信息，赶紧拉黑！

偷信息！偷钱！手机有这10个APP赶紧删！

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

数据可视化正在帮助全球的公司识别模式，预测结果并提高业务回报。可视化是数据分析的一个重要方面。简而言之，数据可视化以可视格式传达表格或空间数据的结果。图像有能力清晰地捕捉注意力并传达想法。这有助于决策并推动改进行动。

通过使用正确的工具，您可以从原始数据中勾勒出令人信服的视觉故事。以下是一些用于数据可视化的免费和开源工具。

1.Candela

如果您了解JavaScript，那么您可以使用此开源工具进行丰富的数据可视化。Candela是一个开源的可互操作网络可视化组件。

2.Charted

Charted是一款免费的数据可视化工具，可让您从CSV文件和Google电子表格创建线形图或条形图。收费带有集成组件，包括LineUp组件，UpSet组件，OnSet组件，Vega可视化和GeoJS地理空间可视化。该工具不存储数据或操作它。纯粹基于可视化，它具有基本功能来创建带有标签和备注的线条或堆积图表。

3.数据包装器

Datawrapper是一款移动友好的数据可视化工具，可让您在几秒钟内创建图表和报告。该工具的免费版本适用于单个用户，支持每月10,000个月的图表视图。使用该工具，您可以创建不同类型的可视化效果，如条形图，分割图，堆积图，点图，箭头图，面积图，散点图，符号图和等值线图。您不需要编码或设计技能来使用该工具。

4. Google Data Studio

如果您拥有Gmail帐户，Google的数据可视化工具就可以免费且轻松地进行设置。您可以轻松将其与Google产品相关联，例如Google AdWords，Google Analytics，YouTube Analytics和Google表格。

5.谷歌图表

Google的另一个简单而免费的数据可视化工具是Google Charts 工具。该工具带有用于可视化的交互式图表和数据工具。

6.Leaflet

Leaflet是一个开源的JavaScript库，允许您制作适合移动设备的交互式地图。该工具有很多插件可用于添加功能，并可在各种桌面和移动平台上正常运行。

7. MyHeatMap

MyHeatMap是一款免费工具，可以交互式查看您的地理数据。该工具的免费版本只提供公共地图，您可以为每个这些免费地图添加20个数据点。该工具使用颜色编码的热图更容易理解数据。您也可以在同一张地图内的数据集之间切换。

8. Openheatmap

Openheatmap让你把你的电子表格变成一张地图。您可以上传CSV文件或Google表格，以在几秒钟内创建交互式在线地图。该工具可用于解释邮政编码等客户人口统计数据。

9.Palladio

Palladio是一款免费工具，旨在将复杂的历史数据可视化。它具有地图视图，图形视图，列表视图和图库视图等功能。您可以使用该工具可视化CSV，TAB或TSV文件中的数据。通过图表视图，您可以可视化数据维度之间的关系。数据显示为通过线路连接的节点。另一方面，列表视图允许您安排数据以制作自定义列表。该工具还具有图库视图以在网格中显示数据。

10. RawGraphs

RawGraphs是一个开源平台，可帮助您可视化TSV，CSV，DSV或JSON数据。免费工具使用简单，并有助于将数据转换为图表。

11. Tableau Public

Tableau Public是一款免费的商业智能工具，允许用户创建和共享交互式图表，图表，地图和应用程序。该工具的免费版本带有10 GB的存储空间。您可以将它连接到Google表格，Microsoft Excel，文本文件，JSON文件，空间文件，Web数据连接器，OData以及SAS（* .sas7bdat），SPSS（* .sav）和R等统计文件（* .rdata，* .rda）。

12.时间表

时间轴 是一款免费工具，可让您为报告创建时间表。您可以使用工具中提供的模板连接您的Google云端硬盘帐户，从Google电子表格创建时间表。使用JSON，您可以创建自定义安装。

13. Chartist.js

Chartist.js是一款免费的数据可视化工具，可让您快速轻松地创建响应式图表。

该工具提供了很大的灵活性并且可以自定义。你甚至可以使用CSS动画和转换到你的SVG元素。

14. ColorBrewer

ColorBrewer是一款免费工具，可用于根据配色方案更好地制作地图。该工具可以轻松区分复杂地图上的颜色。

15. D3.js

D3.js 是一个免费的JavaScript库，可以帮助您使用数据创建图像。该工具使您能够将任意数据连接到文档对象模型（DOM），然后将数据驱动的转换应用于文档。通过DOM编程API，程序员可以将文档作为对象访问。

16.Plotly

Plotly是一款开放源代码工具，可用于撰写，编辑和共享交互式数据可视化。您可以使用该工具通过上传CSV文件或连接到SQL数据库来创建D3.js图表和地图。您也可以使用R或Python创建图表。

17. Polymaps

Polymaps是一个免费的JavaScript库，用于在浏览器中创建动态的交互式地图。您可以使用该工具在地图上显示多缩放数据集。该工具使用可缩放矢量图形（SVG）来显示图像，从而使您可以使用CSS定义设计。

18.Weave

Weave是一个免费的数据可视化平台，符合ADA标准。该工具带有全键盘和辅助设备导航以及完整的屏幕阅读器支持。该工具还自动实时描述图像。

19. Dygraphs

Dygraphs是一个基于JavaScript的开源图表库。这个免费的工具可以用来分析密集的数据集。该工具是高度可定制的，并适用于所有浏览器。该工具为错误栏/置信区间提供了强有力的支持。

20.GanttPro

除此之外，还有许多数据可视化工具可以在有限的时间内提供免费试用。 例如，项目管理工具GanttPro可帮助您在15天的试用期内免费创建项目图表。

数据可视化对精确的数据分析至关重要。利用正确的工具，您可以轻松地向您的利益相关者总结和解释复杂的数据。通过利用数据产生的可操作的见解，公司可以获得巨额利润和储蓄。我们说的有多大？Netflix 在2017年 以其ML算法向用户推荐个性化电视节目和电影，节省了约 10亿美元。正确使用时，数据分析和可视化有能力改变人们的生活方式。

点一下关注哦！~~

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

数据在当今世界意味着金钱。随着向基于app的世界的过渡，数据呈指数增长。然而，大多数数据是非结构化的，因此需要一个过程和方法从数据中提取有用的信息，并将其转换为可理解的和可用的形式。

数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。

免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange，到各种用Java、c++编写的库，最常见的是Python。数据挖掘中通常涉及到四种任务:

分类:将熟悉的结构概括为新数据的任务

聚类: 在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。

关联规则学习: 查找变量之间的关系

回归: 旨在找到一个函数，用最小的错误来模拟数据。

下面列出了用于数据挖掘的免费软件工具

数据挖掘工具

1.Rapid Miner

Rapid Miner，原名YALE又一个学习环境，是一个用于机器学习和数据挖掘实验的环境，用于研究和实际的数据挖掘任务。毫无疑问，这是世界领先的数据挖掘开源系统。该工具以Java编程语言编写，通过基于模板的框架提供高级分析。

它使得实验可以由大量的可任意嵌套的操作符组成，这些操作符在XML文件中是详细的，并且是由快速的Miner的图形用户界面完成的。最好的是用户不需要编写代码。它已经有许多模板和其他工具，让我们可以轻松地分析数据。

2. IBM SPSS Modeler

IBM SPSS Modeler工具工作台最适合处理文本分析等大型项目，其可视化界面非常有价值。 它允许您在不编程的情况下生成各种数据挖掘算法。 它也可以用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。

3.Oracle Data Mining

Oracle。 作为“高级分析数据库”选项的一部分，Oracle数据挖掘功能允许其用户发现洞察力，进行预测并利用其Oracle数据。您可以构建模型来发现客户行为目标客户和开发概要文件。

Oracle Data Miner GUI使数据分析师、业务分析师和数据科学家能够使用相当优雅的拖放解决方案处理数据库内的数据。 它还可以为整个企业的自动化、调度和部署创建SQL和PL / SQL脚本。

4. Teradata

Teradata认识到，尽管大数据是令人敬畏的，但如果您实际上并不知道如何分析和使用它，那么它是毫无价值的。 想象一下，有数百万的数据点没有查询的技能。 这就是Teradata所提供的。它们提供数据仓库，大数据和分析以及市场营销应用程序方面的端到端解决方案和服务。

Teradata还提供一系列的服务，包括实施，业务咨询，培训和支持。

5. Framed Data

这是一个完全管理的解决方案，这意味着你不需要做任何事情，而是坐下来等待见解。 框架数据从企业获取数据，并将其转化为可行的见解和决策。 他们在云中训练、优化和存储产品的电离模型，并通过API提供预测，消除基础架构开销。 他们提供了仪表板和情景分析工具，告诉你哪些公司杠杆是驾驶你关心的指标。

6. Kaggle

Kaggle是全球最大的数据科学社区。 公司和研究人员张贴他们的数据，来自世界各地的统计人员和数据挖掘者竞相制作最好的模型。

Kaggle是数据科学竞赛的平台。 它帮助您解决难题，招募强大的团队，并扩大您的数据科学人才的力量。

3个步骤的工作 -

上传预测问题

提交

评估和交流

7. Weka

WEKA是一个非常复杂的数据挖掘工具。 它向您展示了数据集、集群、预测建模、可视化等方面的各种关系。您可以应用多种分类器来深入了解数据。

8. Rattle

Rattle代表R分析工具轻松学习。 它提供数据的统计和可视化汇总，将数据转换为可以轻松建模的表单，从数据中构建无监督模型和监督模型，以图形方式呈现模型的性能，并对新数据集进行评分。

它是一个使用Gnome图形界面在统计语言R编写的免费的开源数据挖掘工具包。 它运行在GNU / Linux，Macintosh OS X和MS / Windows下。

9. KNIME

Konstanz信息采集器是一个用户友好、可理解、全面的开源数据集成、处理、分析和探索平台。它有一个图形用户界面，帮助用户方便地连接节点进行数据处理。

KNIME还通过模块化的数据流水线概念集成了机器学习和数据挖掘的各种组件，并引起了商业智能和财务数据分析的注意。

10. Python

作为一种免费且开放源代码的语言，Python通常与R进行比较，以方便使用。 与R不同的是，Python的学习曲线往往很短，因此成了传奇。 许多用户发现，他们可以开始构建数据集，并在几分钟内完成极其复杂的亲和力分析。 只要您熟悉变量、数据类型、函数、条件和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

11. Orange

Orange是一个以Python语言编写的基于组件的数据挖掘和机器学习软件套件。它是一个开放源码的数据可视化和分析的新手和专家。数据挖掘可以通过可视化编程或Python脚本进行。它还包含了数据分析、不同的可视化、从散点图、条形图、树、到树图、网络和热图的特征。

12. SAS Data Mining

使用SAS Data Mining商业软件发现数据集模式。 其描述性和预测性建模提供了更好的理解数据的见解。 他们提供了一个易于使用的GUI。 他们拥有自动化的数据处理工具，集群到最终可以找到正确决策的最佳结果。 作为一个商业软件，它还包括可升级处理、自动化、强化算法、建模、数据可视化和勘探等先进工具。

13. Apache Mahout

Apache Mahout是Apache软件基金会（Apache Software Foundation）的一个项目，用于生成主要集中在协作过滤、聚类和分类领域的分布式或其他可伸缩机器学习算法的免费实现。

Apache Mahout主要支持三种用例：建议挖掘采取用户行为，并尝试查找用户可能喜欢的项目。 集群需要 文本文档，并将它们分组为局部相关的文档。 分类从现有的分类文档中学习到特定类别的文档是什么样子，并能够将未标记的文档分配给（希望）正确的类别。

14. PSPP

PSPP是对采样数据进行统计分析的程序。 它有一个图形用户界面和传统的命令行界面。 它用C语言编写，使用GNU科学图书馆的数学例程，并绘制UTILS来生成图表。 它是专有程序SPSS（来自IBM）的免费替代品，可以自信地预测接下来会发生什么，以便您可以做出更明智的决策，解决问题并改进结果。

15. jHepWork

jHepWork是一个免费的开放源代码数据分析框架，它是为了使用开放源代码软件包和可理解的用户界面创建一个数据分析环境，并创建一个与商业程序相竞争的工具。

JHepWork显示数据集的交互式2D和3D图，以便更好地分析。 Java中实现了数字科学库和数学函数。 jHepWork基于高级编程语言Jython，但Java编码也可用于调用jHepWork数值库和图形库。

16. R programming Language

为什么R是这个名单上免费数据挖掘工具的超级巨星?它是免费的、开源的，并且很容易为那些没有编程经验的人挑选。实际上，有数以千计的库可以集成到R环境中，使其成为一个强大的数据挖掘环境。它是一个免费的软件编程语言和软件环境，用于统计计算和图形。

在数据采矿者中广泛使用R语言进行统计软件和数据分析。近年来，易用性和可扩展性大大提高了R的知名度。

17. Pentaho

Pentaho为数据集成，业务分析和大数据提供了一个全面的平台。 有了这个商业工具，你可以轻松地融合任何来源的数据。 深入了解您的业务数据，为未来做出更准确的信息驱动决策。

18. Tanagra

TANAGRA是一个用于学术和研究目的的数据挖掘软件。 有探索性数据分析，统计学习，机器学习和数据库领域的工具。 Tanagra包含一些监督学习，但也包括其他范例，如聚类，因子分析，参数和非参数统计，关联规则，特征选择和构建算法。

19. NLTK

自然语言工具包，是一套用于Python语言的符号和统计自然语言处理（NLP）的库和程序。 它提供了一个语言处理工具库，包括数据挖掘，机器学习，数据报废，情感分析和其他各种语言处理任务。 构建python程序来处理人类语言数据。

　　【IT168 技术】本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

　　什么是预测分析软件?

　　预测分析是高级分析的一个分支，用于对未来未知事件进行预测。预测分析使用数据挖掘，统计，建模，机器学习和人工智能等多种技术来分析当前数据，以预测未来!那么下面将为大家简单介绍一下以下的20多款工具!

　　1.R Software Environment

　　R是用于统计计算和图形的免费软件，可运行在各种UNIX，Windows和Mac OS平台上。R提供了广泛的统计功能，如线性，非线性建模，经典统计测试，时间序列分析，分类，聚类和图形技术。它也是高度可扩展的，提供数据操作，计算和图形显示，数据处理，数组计算，数据分析工具，包括条件，循环和许多其他功能的编程语言。语言主要用于统计方法论的研究，R为它们提供了一个开源的途径，可以在R中产生精心设计的质量图，包括数学符号和公式。

　　2.Dataiku

　　Dataiku Data Studio(DSS)是一个软件平台，汇总了从原始数据到生产应用程序所需的所有步骤和大数据工具。DSS分析数据通过简单的界面操作，即可找到数据中的相关性和重要变量，并测试最佳拟合模型。DSS还可以将模型和预测值发布到各种其他目的地，例如ElasticSearch，FTP服务器和内部数据仓库。

▲

　　3.Orange Data mining

　　Orange Data mining是一个开源的数据可视化和分析工具。数据挖掘是通过可视化编程或通过Python脚本完成的。Orange会记住这些选择，提供最常用的组合，并智能地选择要使用的小部件之间的通信通道。可以利用情节，条形图，树状图，网络和热图来进行可视化。有机器学习的组件，可用于生物信息学和文本挖掘。该解决方案包含了用于数据分析的功能，并且在Orange中有超过100个小部件。

▲

　　4.RapidMiner

　　RapidMiner可作为数据分析的独立应用程序使用，也可作为集成到专有产品中的数据挖掘引擎。RapidMiner提供数据挖掘和机器学习程序，包括数据加载和转换，数据预处理，可视化，建模，评估和部署。RapidMiner是用Java编程语言编写的。它采用的学习计划和归属来自于Weka的机器学习环境，统计建模方案来自R Project。可用于文本挖掘，多媒体挖掘，功能设计，数据流挖掘的集成方法的发展，以及分布式数据挖掘。

　　RapidMiner v6.0仍然是开源的。RapidMiner的最新版本现在仅作为试用版或商业许可证提供。

▲

　　5.Anaconda

　　Anaconda是一个由Python支持的开放式数据科学平台。 Anaconda的开源版本是Python和R的高性能版本，包括超过100种用于数据科学的最受欢迎的Python，R和Scala软件包。还可以访问超过720个软件包，可以使用包含在Anaconda中的conda，包，从属关系等。

▲

　　6.KNIME

　　KNIME桌面版是开源的，是用户友好的数据访问，数据转换，初步调查，预测分析，可视化和报告的图形工作台。开放的集成平台提供了1000多个模块或节点。KNIME还提供了基于数据信息开发报告的能力，并将新见解的应用自动化回到生产系统。KNIME产品有KNIME Desktop，KNIME Professional，KNIME Team Space，KNIME Server和KNIME Cluster Execution。 KNIME Desktop可以自由下载到桌面。基于Eclipse平台的，并且有双重许可证。非开源产品中的功能包括共享存储库，身份验证，远程执行，调度，SOA集成和Web用户界面。

▲

　　7.DMWay

　　DMWay使得预测分析更易于获取并且价格合理。DMWay解决方案允许用户在几个小时或几天而不是几个月的时间内建立更好的预测模型，这可以适应任何行业。DMWay分析引擎可以提供最高级别的建模。分析引擎设计用于模拟经验丰富的数据科学家采取的步骤，以建立准确有效的分析模型。DMWay评分引擎是建议企业寻求协助部署由分析引擎提供的预测分析结果的工具。

　　这个创新的解决方案是通过使用专家系统方法而不是“机器人”方法来实现的，模仿有经验的数据科学家关于构建大规模预测模型的方式。DMWay评分引擎是为企业寻求协助部署由分析引擎提供的预测分析结果而推荐的工具。

▲

　　8.HP Haven Predictive Analytics

　　HP Distributed R是R语言的开源，可扩展和高性能平台，可加速大规模机器学习，统计分析和图形处理。Haven Predictive Analytics为HP Vertica提供数据加速和原生SQL支持。与市场领先的列式MPP数据库的本地集成将总体数据访问性能提高了5倍，并提供了一整套经过验证的开箱即用的并行算法，以成熟的标准R算法生成准确一致的结果。是预测分析免费，完全兼容开源R语言和工具，并得到惠普企业的支持，并按每个节点定价。HP Haven Predictive Analytics由HP Vertica和Distributed R提供支持。Distributed R是基于与HP Labs开发的开放源代码R语言的高性能分析引擎，可满足要求最苛刻的大数据预测分析任务。分布式R提高了性能，并允许用户分析比以前流行的R统计编程语言更大的数据集。

　　9.GraphLab Create

　　GraphLab Create是一个为开发人员和数据科学家构建的机器学习平台，具有函数式编程技巧和对数据科学的一些基本理解。能够轻松地实现从想法到生产的原型和规模。示例服务包括推荐系统，欺诈检测或客户流失预测器。开发人员和数据科学家能够快速部署并轻松与其他应用程序集成。Discover版本提供免费的开发者许可证，并提供社区论坛支持。

▲

　　10.Lavastorm分析引擎

　　Lavastorm分析引擎公开版是一个易于使用，成本效益的工具，用于临时发现和业务分析。公开版对于希望将分析处理能力放在桌面上的用户非常理想，而且不需要大型数据处理能力，提供自动持续分析和协作功能。Lavastorm是一种可视化的数据发现解决方案，可以让你快速整合不同的数据，轻松发现洞察，并持续检测异常，异常值或模式。它为企业用户提供自助服务能力，为IT用户提供集成，分析和业务控制领域的快速开发能力。其功能包括从任何来源(包括大数据源)获取，转换，合并和丰富数据，而不需要大量建模，预先规划或用脚本。可检测数据问题，如完整性，格式不一致，准确性，自动化评估和清理流程。

▲

　　11.Actian Vector Express

　　Actian Analytics Platform(Express Hadoop SQL Edition)是Hadoop内部运行100%的免费社区版的端到端分析平台。Actian分析平台将Hadoop转变为一个高性能的分析平台，使企业能够通过分析来自多个来源的数据而无需采样，从而提高预测和决策的准确性。Actian Express，Hadoop SQL Edition使用现有的Hadoop集群提供高速和性价比。Actian Vector Express是Actian分析平台的免费社区版本，旨在提供快速简单的方法来提高分析的性能。它建立在基于矢量的分析数据库基础之上，Actian Express提供很好的性能和性价比，并且需要更少的硬件，几乎不需要调整。Actian Vector Express包括以下功能：分析工作台 - 快速构建可视工作流程准备，转换和分析数据，分析数据库 - 在几秒钟内运行复杂的查询反对数十亿条记录和管理控制台。

▲

　　12.Scikit-learn

　　scikit-learn是简单高效的数据挖掘和数据分析工具。它是Python中的机器学习库，建立在NumPy，SciPy和matplotlib之上，它也是开源的。其特点包括分类，回归，聚类，降维，模型选择和预处理。

▲

　　13.微软R

　　R是强大的，用于统计计算，机器学习和图形的首选编程语言，并得到用户，开发者的繁荣的社区支持。R家族包括，服务器，客户端，SQL Server等服务。支持各种大数据统计，预测建模和机器学习功能，R Server支持基于开源R的全方位的分析探索，分析，可视化和建模。Microsoft R客户端是免费的社区支持。

　　14.H2O.ai

　　H2O是一个开源的预测分析平台。H2O用户可以轻松地从微软Excel和RStudio中探索和建模大数据，并将其与来自HDFS，S3，SQL和NoSQL数据源的数据连接起来。H2O讲述了数据科学的语言，支持R，Python，Scala，Java和强大的REST API。业务应用程序由H2O的NanoFastTM评分引擎提供支持。包括：分布式算法和回归树，如GBM，随机森林(RF)，广义线性模型(GLM)，k-均值和主成分分析(PCA)。

　　15.Weka Data Mining

　　Weka是用于数据挖掘任务的机器学习算法的集合。算法可以直接应用于数据集，也可以从Java代码调用。Weka包含用于数据处理，分类，回归，聚类，关联规则和可视化的工具。它也非常适合开发新的机器学习方案。 Weka是用Java编写的，由新西兰怀卡托大学开发。

▲

　　16.Apache Spark

　　Apache Spark是用于大规模数据处理的快速且通用的引擎。Spark需要一个集群管理器和一个分布式存储系统。对于集群管理，Spark支持独立(本地Spark集群)，Hadoop YARN或Apache Mesos。对于分布式存储，Spark能与各种各样的，包括Hadoop分布式文件系统(HDFS)，MAPRA文件系统(FS-MAPRA)，Cassandra，OpenStack Swift，亚马逊S3，Kudu，或自定义解决方案实现对接。

　　17.Octave

　　Octave是数字计算的高级解释语言。它提供了数据可视化和操纵的线性，非线性问题和图形的解决方案。有许多可用于公共数值线性代数解决问题的工具，寻找非线性方程的根，集成普通功能，操纵多项式，及整合的普通微分和代数微分方程。

▲

　　18.Tanagra

　　Tanagra是一个用于学术和研究目的的免费数据挖掘软件，它具有探索性数据分析，统计学习，机器学习和数据库等多种数据挖掘方法的功能。支持标准的数据挖掘任务，如：可视化，描述性统计，实例选择，特征选择，功能建设，回归，影响因子分析，聚类，分类和关联规则的学习。

　　19.PredictionIO

　　PredictionIO是一款开源的机器学习服务器，可以让软件开发人员创建个性化，推荐和内容发现等预测功能。通过PredictionIO，预测这种特点的用户行为，提供个性化的视频，新闻，交易，广告，职位，事件，文件，应用程序，餐馆和匹配服务。

　　20.Apache Mahout

　　Apache Mahout提供可扩展的机器学习算法，主要集中在协作过滤，聚类和分类。许多实现使用Apache Hadoop平台，包括成熟的Hadoop MapReduce算法，Scala，Spark和H2O算法。协同过滤：基于用户的协同过滤，基于项目的协同过滤，矩阵分解与ALS，矩阵分解与隐式反馈和加权矩阵分解，SVD + ALS。

【VIP会员服务】小鸟云匠心打造完整的VIP会员服务体系，为国内国际用户提供7*24小时服务支持、0元快速备案、100倍故障赔偿、5天无理由退款等多种服务支持和服务保障让用户尊贵售后服务，让云端部署更轻松、更高效。

如今，为了满足企业的主要需求，大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中，涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本，并发现能够让企业获利的商业洞察力。显然，大数据分析工具的市场正在不断增长。

许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。

而在这些工具中选择是一个挑战，特别是许多大数据工具只具有单一用途，而企业需要使用大数据完成许多不同的任务，因此企业的分析工具箱会变得过于充实。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主要类别。

如上所述，大数据工具都倾向于单一使用类别，并且有多种使用大数据的方式。所以可以按类别分类，然后分析每个分析工具。

大数据工具：数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

而这个领域的主要的大数据工具有：

1. Cloudera

基本上，Hadoop增加了一些额外的服务，企业将需要这些服务，因为大数据并不是一个简单的练习。 Cloudera的服务团队不仅可以帮助企业构建大数据集群，还可以帮助培训员工更好地访问数据。

2. MongoDB

MongoDB是最流行的大数据数据库，因为它适用于管理大数据经常出现的非结构化数据或频繁更改的数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品是围绕集成平台构建的，该平台结合了大数据、云计算、应用程序，以及实时数据集成、数据准备和主数据管理。

Talend大数据集成包括数据质量和治理功能。

大数据工具：数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据集往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段和其他错误来清理凌乱的数据。它是开源的软件，但它有一个可以提供帮助的大型社区。

5. DataCleaner

与OpenRefine类似，DataCleaner将半结构化数据集转换为数据可视化工具可读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. Microsoft Excel

人们可以从各种数据源导入数据。Excel对手动数据输入和复制/粘贴操作特别有用。它可以消除重复、查找、替换，拼写检查以及用于转换数据的许多公式。但它很快陷入困境，并不适用于大数据集。

大数据工具：数据挖掘

一旦数据被清理并准备好进行检查，就可以通过数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，具有非常用户友好的可视化界面，这意味着企业无需编写代码，即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一套适用于企业级的高级分析的产品，用于数据挖掘。而IBM的服务和咨询无疑是首屈一指的。

9. Teradata

Teradata为数据仓库、大数据和分析以及市场营销应用提供端到端解决方案。这一切意味着企业的业务可以真正成为一个数据驱动的业务，并提供商业服务、咨询、培训和支持。

像许多当前的大数据工具一样，RapidMiner解决方案也包含云计算解决方案

大数据工具：数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

10. Tableau

作为这一领域的领导者之一，其数据可视化工具专注于商业智能，无需编程即可创建各种地图、图表、图形等等。Tableau总共有五款产品，其中有一个名为Tableau Public的免费版本供潜在客户试用。

11. Silk

Silk是一种简单版本的Tableau，Silk可让企业将数据可视化为地图和图表，而无需任何编程。它甚至会尝试在第一次加载时自动将数据可视化。它还使得在线发布结果变得容易。

12. Chartio

Chartio使用自己的可视化查询语言，只需点击几下即可创建功能强大的仪表板，而无需了解SQL或其他建模语言。与其他不同的是，企业直接连接到数据库，因此不需要数据仓库。

13. IBM Watson Analytics

IBM Watson Analytics是机器学习(ML)和人工智能(AI)的结合，可帮助提供智能数据科学助理，为业务分析师和数据科学家提供广泛的数据科学技能集的用户指南。

三层大数据工具

普华永道移动数据和分析计划首席技术官Ritesh Ramesh说，就精密程度和市场战略而言，大数据工具分解为三层。

第一层：也是最大的一层，是一系列开源工具。每家公司都以这种方式开始，像Cloudera和Hortonworks。除了基本的基础设施。服务器和存储之外，价值非常小。大多数云计算厂商已经将这一层实现商品化。

第二层：这是大多数这些供应商已经意识到需要增加他们的市场份额的地方，他们必须在开放源代码工具之上构建一些专有应用程序，从而与其他供应商区分开。例如，Cloudera公司构建了一些类似于Hadoop内核中的数据科学平台。

第三层：这些是垂直专用的应用程序。这些公司大多与普华永道、Cognizant或埃森哲等系统集成商合作。这就是真正的价值所在，而且这也是大数据工具制造商非常有效的竞争策略。

Ramesh说，除了基本功能之外，还有三个工具需求领域。首先是数据处理工具。他说，“数据学习工具是客户进行数据质量和性能分析的工具包中的重要工具，可处理5000万行数据，以发现洞察力。”

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...