导语：

中国人讲“旁观者清，当局者迷”。 “当局者迷”是因为自己看不清自己，所以我们要把自己的处境悬架起来，当作一面镜子，这就是卦。把自己的状态，自己的处境，让自己成为旁观者来做评判，这个过程就是算卦，其中对未来的展望就是占卜。这与大数据分析预测何其相似，从历史数据提取关键信息，分析其特征表现，预测其未来。

“行星运行”—寻找规律

太阳系八大行星绕太阳运行周期数据: 观测数据是行星绕太阳一周所需要的时间（以年为位）和行星离太阳的平均距离（以地球与太阳的平均距离为单位）。

“仙人指路” – 实践规律

占卜功能来源于《易经》，从来就是神秘高深，不可测。 而我们从《易经》中了解到，每个卦，每一爻都包含了“象”，“数”，“理”三种含义。举个例子。 我们在算卦时，师傅会占卜人的面相，这就是一个“象”， 而看了哪些位置，花了多少时间，就有了它的“数”，为什么要这样看？所以“理”就出现了。“相面”、“看手相”与“星座”等 “命里”/“性格”论也可以认为是一种基于“总结”的规律实践。

数据分析与占星卜卦有没有相似之处 ？

答案是有，都围绕着三个贯通点，观察、寻找特征、应用规律（经验）。

历史中的数据事故

1.朝鲜战争： 志愿军的7天攻势

1950年12月31日，中朝联军发起第五次战役,至1月7日，联合国军已退至三七线南北之平泽、安城、堤川、宁越、三陟一线,战役遂于1月8日结束1951年4月22日，中国人民志愿军发动第五次战役，至29日结束。

2.辽沈战役：廖耀湘军团覆灭

为什么那里缴获的短枪与长枪的比例比其它战斗略高?

为什么那里缴获和击毁的小车与大车的比例比其它战斗略高？

为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高？

数据分析的四大问题

（1）数据分析是什么？

是寻找规律、提炼价值信息，并将分析结果用于决策的过程。

其中需要经历的过程有确定分析的目的 → 研究的对象 → 可以使用的数据→ 细致分析 → 结论与展示。

泰坦尼克号事故中什么样的人更易幸存？

（2）数据分析的基础是什么？

数据是分析的基础：分析是建立在数据之上，可以使用的 数据量、数据质量、数据的粒度等决定了分析的结果。

业务是分析的支撑：离开业务解读数据是枯燥的，没有意义的；如下图的示例中，不解释原始表结构与业务逻辑，无法分析。

（2.1）数据分析的基础 – 数据

数据：对事物存在与发展变化的描述

数据收集： 数据时代，记录事情发展变化成为可能

数据的记录形式： 数据结构

数据结构的变换：数据处理、统计

数据的处理： 计算（计算机），所以对数据结构有要求。

结构化数据：可以用数字或统一的结构表示的信息；

数据表： 一行为一条观测，一列为一个特征/维度

非结构化数据：无法用数字或统一的结果表示的信息。

如：图片、文本、声音

（3）数据分析的方法

数据分析的基本流程：定义问题（了解业务） → 收集数据 → 数据检查 → 数据处理 → 数据分析 → 结果展示 → 结果应用。

检查数据质量，包括缺失、异 常值、分布等

数据处理，包括填补缺失值、处 理异常值、衍生、标准化等。（泰坦尼克题目中，将Title、Pclass、Parch组合观察可以找到更好的差异）

（4）数据分析的原则

明确分析目标：围绕目的进行的分析工作；业务与数据相结合：分析结果最终要在业务上解释与应用，需要与业务结合；用数据说话：深入分析数据的实质，挖据数据内涵，不能 “认为是”，也不能停留在数据表面。

小问题1：如果一枚硬币连抛10次都是正面，问第11次出现正面的概率是多少？（请在评论区说出你的答案）

哪个老师的教学质量更好？

生活中的数据分析：

（1）在亚马逊上搜算图书《原则》，从而看到的其他图书推荐。

关联分析：Amzon 100件图书订单，购买《原 则》的有75件，购买《爆裂》的 有60件，同时购买两者的40件。 那么，两本书在被选购时是否可以相互推荐？

事件 - A：购买《爆裂》；B：购买《原则》

支持度 ：同时购买概率 - 40/100 = 0.4

置信度 : 购买一个后，再购买另一个的条件概率

A对B的置信度： 40/60 = 0.67 B对A的置信度： 40/70 = 0.53

提升度：购买一件对购买另一件的概率提升左右

A对B的提升度：0.67/0.75 = 0.89

B对A的提升度：0.53/0.6 = 0.88

结论： 两本书的购买是互斥的

小问题：如果把订单总量变为1000 呢？（来评论区说出你的答案）

（2） 数据分析的应用—大数据杀熟分布

网友分享：

他经常通过某网站订某个特定酒店的房间，常年价格在380元-400元。偶然一次，他从前台得知酒店淡季价格在300元上下，他用朋友的账号查询也是300元，但用自己的账号查看还是380元。其他网友也分分晒出自己被宰的经历，大骂企业无良，不少媒体认为大数据是技术走了歪路，建议通过法律制裁。

由于篇幅有限，本文对大数据分析不再做过多的介绍，欢迎有兴趣的小伙伴通过以下方式咨询我司相关产品。

原文标题：A Step-by-Step Guide to learn Advanced Tableau – for Data Science and Business Intelligence Professionals

作者：Pavleen Kaur ； 翻译：李清扬 ； 校对：卢苗苗；

本文共 4000字 ，建议阅读 8分钟 。 本文借助高级图表创建计算深入研究数据以提取对数据的分析，并了解R如何与Tableau相互集成和使用。

简介

“查看数据。 显示图表。 讲故事。 吸引观众。”

Tableau是当今数据科学和商业智能专业人员使用的最流行的数据可视化工具之一。 它使您能够以交互和多彩的方式创建具有洞察力和影响力的可视化效果图。

它的用途不仅仅是创建传统的图表和图表。 您可以使用它来挖掘可操作的数据解析，这要归功于它提供的大量功能和自定义。

以其易用性和简单的功能而闻名，制作如下所示的富有洞察力的仪表盘只需点击几下鼠标：

在本文中，我们将看到一些超越拖放功能的高级图表。 我们将创建计算以深入研究数据以提取对数据的分析。 我们还将看看R如何与Tableau相互集成和使用。

本文假定您掌握丰富的使用Tableau的知识，例如基本图表形成，计算，参数等。如果您不这样做，我会建议先参考以下文章，然后再返回此处：

Tableau for Beginners - 简化数据可视化

中级Tableau指南 - 适用于数据科学和商业智能专业人员

目录

1. 高级图形 - 可视化超越“显示我”

运动图

凹凸图

甜甜圈图表

瀑布图

帕累托图

2. 在Tableau中引入R编程

1. 高级图形 - 可视化超越'Show Me'

几乎所有的Tableau用户都知道各种基本图形，例如介绍仪表板中显示的那些图形。 这些图表可以使用Tableau的“Show Me”功能轻松完成。 但由于这是一篇面向高级用户的文章，因此我们将超越“Show Me”并探索需要额外计算的图表。

首先，让我们快速浏览一下我们将在接下来的几节中做什么。 以下是我们超市的销售额和利润的一些基本分析。 简单的图表可以达到与主板中的相同的目的，但我认为您会对这些图表的宏伟感到兴奋和激动。

1.1动态图表

在开始之前，先看看Hans Rosling的世界经济图表展示 #_chart-type=bubbles) 。 点击播放键，看到魔法在你面前展开。

有兴趣自己做一个类似的图表展示吗？ 不要担心如何做这些动画！你所看到的被称为动态图表。 使用此功能，您可以实时查看数据中的变化。

因此，我们首先下载可在此处找到的Superstore数据集 。

现在让趋势线如下图所示对你来说应该很容易：

但是本节我们首先要学习的是如何使下面的趋势线运动（gif动图）：

https://s3-ap-south-1.amazonaws/av-blog-media/wp-content/uploads/2017/08/23131759/2.gif

所以让我们开始吧！

导入您的数据集，并创建上述趋势图。 我们的X轴是订单日期（月份格式），销售额和利润是度量值。

您只需将“订单日期”拖到“页面”功能区，然后再次更改格式以与X轴匹配。

将标记类型从自动更改变更为圆形。

转到“显示历史记录”，然后选择“追踪”以查看趋势变化。 瞧！ 您的动态图表已准备好启动。

按箭头按钮查看动作，更改“显示历史”定制项，速度项等：

1.2凹凸图

假设你想探索Superstore各个部门的销售额（整整一年）。 其中一种方法是：

然而备选方案如下：

虽然折线图能够显示每个细分部门之间的销售差异，但凹凸图（上图）给出了更清晰和简明的相同结果图。

这些图表通常用于了解多年来特定产品的受欢迎程度如何变化。

现在让我们尝试自己创建一个：

1)首先，我们需要考虑度量单位，根据这些度量单位我们对我们的测量维度进行排名。 这里我们采取的度量单位是销售量，测量维度是部门。

2)您需要计算模块的帮助才能制作凹凸图表。 所以快速创建一个如下所示的计算。 我们将对每个细分部门的销售总额进行排名：

3)现在将“订单日期”拖到列中并将格式更改为月。 在标记窗格中将“Segment”拖动到Marks Pane里的颜色。 最后将“Rank”拖到行。

4)在你现在可以看到的图表中，排名是根据月份数量分配的。但是，我们需要他们在细分部门的基础上。 因此，右键单击行中的排名，然后转到编辑表格计算。

5)由于我们希望使用细分部门计算，请将配置更改为：

您将获得的图表看起来不像仪表板中的图表，因为它缺少标签。 让我们在双轴(Dual Axis)的帮助下快速修复：

6)再次将排名拖到行上并重复步骤4)和5)以得到：

您在Marks Pane中看到了Rank和Rank(2)吗？我们将使用这些来创建带圆圈的标签。

7)要将上述内容转换为双轴图表，请右键单击第二个图表的Rank轴并选择双轴。

8)在Marks Pane中，Rank或Rank(2)，然后将标记类型更改为圆形而不是自动。

9)这里的排名按降序排列。 要将其更改为升序，请右键单击左侧的Rank轴 - >编辑轴 - >反向比例。 对右边的Rank轴重复同样的操作。

10)最后，将“销售额”拖放到标签 - >快速表计算 - >总计百分比上，以获得我们期望的凹凸图。

1.3甜甜圈图

圆环图是初级图的另一种表现形式。 坦率地说，它是一个中间有一个洞的饼图，但它有助于更加强调各个细分市场，如下所示：

让我们了解这个区别的不同之处。

1)我们将从一个简单的饼图开始描绘每个细分部门的利润：

2)要创建饼图的双轴，将measure的number of records拖动到rows两次。 通过右键点击它们并选择最小值代替默认总和来更改每个绿色药丸的度量：

3)选择Marks Pane中的第二个饼图，并将其中的每个度量/维度拖出。 减小图表的大小，并将颜色更改为白色（尽管此处未显示）：

4)要创建双轴，右键单击第二个饼图的Y轴，然后选择双轴，以获得图表。

现在你必须明白，以上所有图表虽然在最终外观上都不相同，但都是从“显示我”功能的核心图表中获得的。 但是等一下，它还没有结束。 我有更多要展示给你。

1.4瀑布图

瀑布图的名称来自于其类似的方向和流动。在这里，我们绘制了Superstore多年来的运行销售情况，您可以在2013年中和2014年初看到两个小红色区域，表明销售额实际下降了，并且还有多少。

这意味着这些图表被用来分析一个度量的累积效应，并且看它是如何作为一个整体增加和减少的。 为了更好地理解这一点，让我们想象它。

瀑布图是折线图的衍生物，因此我们将从该图开始：

注意：这里的X轴是订单日期（以月 - 年格式并转换为离散型）, Y轴是利润

1)右键单击绿色的Profit Pill，然后选择Quick Table Calculation - > Running Total。

2)将标记类型从自动更改为甘特条：

3)创建一个名为'NegProfit'的计算字段：

4)将这个NegProfit拖到Marks框架中的Size上，得到：

计算的字段用于填写甘特图中的空间。 利润中的负值将向下延伸，而正值则会向上延伸。

图表中每个小条的长度表示利润从一个月到下一个月的变化量。

5)最后，将利润拖到颜色：

6)您可以继续前进，将颜色更改为两步变化，并清楚地查看上升和下降：

您将获得的图表也可以非常容易地以条形图的形式表示。 请注意，我在这里将颜色分置，以使其凸显出来：

但我相信你会同意使用瀑布图是一种更直观的表示数据的方式，特别是看看多年来度量的变化，例如销售和利润。

1.5帕累托图

下面我已经将一个流行的80-20数据分析原理可视化出来。 如果你还没有听说过它，让我试着用例子来解释它。我们会经常观察到超市的大部分销售来自少数几种产品。

人们不能指望面包和鸡蛋与蛋糕有相同的销售数字，对吧？ 这正式被称为80-20原则，这意味着80％的销售额来自20％的产品。 在我们的超市里，这个原则可以在下面的图表中看到，其中大部分销售是由电话和椅子生成的：

这是一种相当流行的可视化，帕累托图通常用于风险管理，以确定对项目造成最大负面影响的最常见问题; 但正如我们将看到的，它也可以有其他应用程序。

让我们看看它是如何完成的：

1)我们将从下面的图表开始。 这具有作为X轴的子类别和作为Y轴的销售。 图表按降序排列：

2)接下来，将销售额拖放到图表上，直到您看到绿色突出显示的条形和最右边的虚线轴：

3)在此处下降销售以创建双轴。 将第一个图表的标记类型更改为条形图，将第二个图表更改为直线，最终得到：

4)右键单击第二个绿色销售药丸，并为其添加运行总计算：

5)剩下的只是改变配色方案，并且您的帕累托图表已准备就绪！

2.在Tableau中引入R编程

我喜欢Tableau的一个原因是，它不仅仅是一个工具，而且意味着只需拖放操作即可创建漂亮的图形。随着2013年Tableau 8.1的发布，出现了许多新的功能。

R编程的引入使得更丰富和动态的可视化得以实现，这是主要特征之一。 R编程可与Tableau一起用于聚类、预测等技术。

我想通过Clustering开始对R和Tableau的探索，所以我使用了超流行的Iris Dataset 。 它包含不同的功能来区分3种类型的flowers，即Virginica，Setosa和Versicolor。 正如你在下面的图片中看到的那样，R编程整合很容易创建这三种物种的集群：

如果你有兴趣，可进行一下操作。首先，深入了解基础知识和安装过程，然后深入研究可视化问题！

以下描述了Tableau和R之间的控制流程，以实现此集成：

R脚本作为表计算写入Tableau，并发送到R的R服务包。在此模块执行必要的计算并将结果返回给Tableau。

注意：为了正确理解并使用此功能，您必须具备R及其各种语法的一些知识。 对于相同的你可以参考以下教程：

Learn Data Science in R from scratch:

现在让我们看看这个集成的步骤：

1)安装R -project.org)

2)安装Rserve软件包

在R命令行中运行以下命令：

3)配置Tableau以在R中运行

打开Tableau - >帮助 - >设置和性能 - >管理R /外部连接。 使用以下默认信息填写字段并选择测试连接：

所以，现在你已经准备好了适当的配料，让我们开始吧！

如上图所示，您可以使用Tableau的表计算与R进行通信：

如果您向下滚动功能列表，您将遇到以下四种情况：

当计算区域中包含这些函数时，Tableau会自动理解该脚本适用于R.

我希望你最初兴奋的制作集群仍然存在！ 我们继续。

1)从这里下载Iris数据集。

2)在Tableau中导入数据集，并制作下图：

3)在这里，您可以通过不同的度量获得总和。要获得离散值，请转至分析，并取消选中聚合度量，以获取：

4)最后，要形成群集，请在标记窗格中将类维度拖到颜色上：

我们上面有一个散点图，它显示了分为3个不同群集的数据点群集。

现在让我们尝试与R一样，并比较我们将得到的两个可视化。 我们将使用最常见的聚类算法K-Means：

1)从与上面第2点相同的散点图开始。

2)创建一个新的计算字段并填写以下内容：

为了清楚起见，上述计算是：

3)最后，将新形成的Field Cluster拖放到Marks Pane中的Color，以使您的集群准备就绪！

虽然有一些重叠，但这两个可视化确实看起来相当准确。

这是将R与Tableau集成的潜力的一个小要点。 它的应用程序是无限的，我相信你一定已经开始考虑可以与之交互的不同方式。

结束笔记

如果我说这就是Tableau的全部，这可能稍显幼稚。随着新版本的推出，新功能也将随之推出。

不仅如此，人们总是在试验和探索Tableau，并提出新的视觉效果。在很多博客里，人们也发布了其数据实验。可以搜索一下。

您还可以在Tableau官方图库页面上查找每周更新的可视化图像 。 建议你继续参考这些帖子，创建自己的视觉效果，并与社区分享。

作为一名数据探索者，保持创意并保持最佳状态！

原文链接：

译者简介：李清扬 ， 清华大学工商管理研究生在读，主修管理学。对大数据、人工智能在经济金融领域的应用感兴趣。希望能在数据派平台获得大数据前沿知识，找到志同道合的朋友，一起研究和应用数据分析工具于企业管理实践当中。

END

版权声明：本号内容部分来自互联网，转载请注明原文链接和作者，如有侵权或出处有误请和我们联系。

关联阅读：

原创系列文章：

1：从0开始搭建自己的数据运营指标体系 （概括篇）

2 ：从0开始搭建自己的数据运营指标体系（定位篇）

3 ：从0开始搭建自己的数据运营体系（业务理解篇）

4 ：数据指标的构建流程与逻辑

5 ： 系列 ：从数据指标到数据运营指标体系

6: 实战 ：为自己的公号搭建一个数据运营指标体系

7: 从0开始搭建自己的数据运营指标体系（运营活动分析）

数据运营 关联文章阅读：

运营入门，从0到1搭建数据分析知识体系

推荐 ：数据分析师与运营协作的9个好习惯

干货 ：手把手教你搭建数据化用户运营体系

推荐 ：最用心的运营数据指标解读

干货 : 如何构建数据运营指标体系

从零开始，构建数据化运营体系

干货 ：解读产品、运营和数据三个基友关系

干货 ：从0�...

一个成功的预测分析项目不仅仅涉及软件部署，使用软件分析数据。了解下面这些步骤可以帮助你为分析项目打下坚实基础。

越来越多的企业开始使用预测分析算法。描述性分析一般提供一种视角，让你了解已经发生了什么，而与之相比，预测分析则试图发现未来事件，例如，识别那些潜在的客户。

但为了充分利用预测模型，在使用先进的分析工具，建立新的或改进业务流程和其他企业变动之间，分析团队需要找到一个平衡点。简而言之，如果分析结果不能高效地对决策和企业行为产生积极的影响，那这个分析就是完全无意义的。

一个有效的预测分析程序需要数据分析生命周期中商业用户的参与和支持。考虑以下10个步骤，有助于发现促进分析活动成功的基本元素。

1. 找到一个带头人。获得公司高层领导的支持，是很重要的，只有公司高管愿意在分析领域投资，才能确保预测分析过程和运营的顺利。例如，首席营销官可能是一个推动客户分析程序的不错候选人，因为CMO可以提供必要的资金，他还可以推动营销团队使用预测分析算法的结果，来规划营销和促销活动。

2. 了解公司的主要业务目标。最好的预测模型都具备两个重要特点：业务预测准确性和相关性。数据科学家和分析师进行分析工作时，如果他们非常清楚组织的业务目标，专注于相应的建筑模型来满足这些业务目标，那么其分析结果的准确性和相关性往往很高。

3. 评估业务流程可能会受到何种影响。预测模型帮助识别商业机会，但如果分析应用程序的结果没有被用来指导业务经理和其员工的行为，即使是最好分析也会变得毫无意义。 基于分析预测分析算法的结果来识别那些可以被改进的业务流程，随后取得部门主管的支持，促使员工把这些研究结果转化为行动。

4. 定义性能指标。你的预测模型不应该仅仅影响业务流程的改变，他们也应该具备一个衡量其业务影响的指标。你应该制定一个计划来创建指标，可以用来量化模型的实际价值。

5. 拥有一个能干的团队。分析团队应由具备各种技能的人员组成，这些人员一般包括统计师、数据科学家、数据分析师、工程师和业务分析师、数据变更管理专业人士等。

6. 定义模型的开发方法。阻碍分析成功的原因之一是开发预测模型时所花费的时间超过了商业机会的窗口。一些企业采取敏捷开发技术加速模型创建过程，随后在部署后，迭代改进该模型。这种增量开发模式更适合开发预测模型，你不再担心无休止的交付延迟。

7. 确保正确的数据是可用的和可访问的。大数据是一件好坏参半的事。虽然你的企业可能有能力收集和存储大量的数据，分析师仍然需要知道哪些数据是可用的，以及如何访问相关的数据。除了创建数据集的详细目录,，在数据目录保持足够的技术和业务元数据, 以确保特定的预测分析应用程序得到正确的数据。

8. 构建一个坚实的数据治理项目。企业数据环境是不断变化的, 新的数据集不断被捕获，这些数据来自于内部和外部的数据源。实现数据治理实践，有助于将分析系统数据的质量和一致性保持在一个可接受的水平，与相关数据使用政策一起，防止不同的解释导致分析结果互相冲突。

9. 当情况有变时，要快速推倒重来。建立分析模型并不困难，但并不是所有分析都能提供有用的信息。迅速建立失败的原则：如果一个预测模型对业务不产生任何有价值的东西，就立刻推倒重来。

10. 选择正确的工具。市场预测分析工具的市场十分健全，它能为你提供开源和商业两种选择。寻找工具，提供一组核心功能来匹配您的应用程序需求。你要考虑因素包括特定预测分析算法的所需支持，与各种传统大数据平台的互操作性，是否能够处理结构化和非结构化数，,与数据可视化工具的集成以及用于演示的前端工具等。

熟悉了这十个步骤，并不意味着你就可以轻松构建一个成功的预测分析程序。但它们为分析程序获得持续支持提供了基础，有助于在业务价值基础上构建预测模型，吸引业务用户，管理变更，并让分析师获得高可用性和高置信度的数据。如果这些步骤被正确实施，它们将有助于为开发、测试和部署预测模型流程提供可重复的过程，这些模型能够让业务受益匪浅。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

数据在当今世界意味着金钱。随着向基于app的世界的过渡，数据呈指数增长。然而，大多数数据是非结构化的，因此需要一个过程和方法从数据中提取有用的信息，并将其转换为可理解的和可用的形式。

数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。

免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange，到各种用Java、c++编写的库，最常见的是Python。数据挖掘中通常涉及到四种任务:

分类:将熟悉的结构概括为新数据的任务

聚类: 在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。

关联规则学习: 查找变量之间的关系

回归: 旨在找到一个函数，用最小的错误来模拟数据。

下面列出了用于数据挖掘的免费软件工具

数据挖掘工具

1.Rapid Miner

Rapid Miner，原名YALE又一个学习环境，是一个用于机器学习和数据挖掘实验的环境，用于研究和实际的数据挖掘任务。毫无疑问，这是世界领先的数据挖掘开源系统。该工具以Java编程语言编写，通过基于模板的框架提供高级分析。

它使得实验可以由大量的可任意嵌套的操作符组成，这些操作符在XML文件中是详细的，并且是由快速的Miner的图形用户界面完成的。最好的是用户不需要编写代码。它已经有许多模板和其他工具，让我们可以轻松地分析数据。

2. IBM SPSS Modeler

IBM SPSS Modeler工具工作台最适合处理文本分析等大型项目，其可视化界面非常有价值。 它允许您在不编程的情况下生成各种数据挖掘算法。 它也可以用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。

3.Oracle Data Mining

Oracle。 作为“高级分析数据库”选项的一部分，Oracle数据挖掘功能允许其用户发现洞察力，进行预测并利用其Oracle数据。您可以构建模型来发现客户行为目标客户和开发概要文件。

Oracle Data Miner GUI使数据分析师、业务分析师和数据科学家能够使用相当优雅的拖放解决方案处理数据库内的数据。 它还可以为整个企业的自动化、调度和部署创建SQL和PL / SQL脚本。

4. Teradata

Teradata认识到，尽管大数据是令人敬畏的，但如果您实际上并不知道如何分析和使用它，那么它是毫无价值的。 想象一下，有数百万的数据点没有查询的技能。 这就是Teradata所提供的。它们提供数据仓库，大数据和分析以及市场营销应用程序方面的端到端解决方案和服务。

Teradata还提供一系列的服务，包括实施，业务咨询，培训和支持。

5. Framed Data

这是一个完全管理的解决方案，这意味着你不需要做任何事情，而是坐下来等待见解。 框架数据从企业获取数据，并将其转化为可行的见解和决策。 他们在云中训练、优化和存储产品的电离模型，并通过API提供预测，消除基础架构开销。 他们提供了仪表板和情景分析工具，告诉你哪些公司杠杆是驾驶你关心的指标。

6. Kaggle

Kaggle是全球最大的数据科学社区。 公司和研究人员张贴他们的数据，来自世界各地的统计人员和数据挖掘者竞相制作最好的模型。

Kaggle是数据科学竞赛的平台。 它帮助您解决难题，招募强大的团队，并扩大您的数据科学人才的力量。

3个步骤的工作 -

上传预测问题

提交

评估和交流

7. Weka

WEKA是一个非常复杂的数据挖掘工具。 它向您展示了数据集、集群、预测建模、可视化等方面的各种关系。您可以应用多种分类器来深入了解数据。

8. Rattle

Rattle代表R分析工具轻松学习。 它提供数据的统计和可视化汇总，将数据转换为可以轻松建模的表单，从数据中构建无监督模型和监督模型，以图形方式呈现模型的性能，并对新数据集进行评分。

它是一个使用Gnome图形界面在统计语言R编写的免费的开源数据挖掘工具包。 它运行在GNU / Linux，Macintosh OS X和MS / Windows下。

9. KNIME

Konstanz信息采集器是一个用户友好、可理解、全面的开源数据集成、处理、分析和探索平台。它有一个图形用户界面，帮助用户方便地连接节点进行数据处理。

KNIME还通过模块化的数据流水线概念集成了机器学习和数据挖掘的各种组件，并引起了商业智能和财务数据分析的注意。

10. Python

作为一种免费且开放源代码的语言，Python通常与R进行比较，以方便使用。 与R不同的是，Python的学习曲线往往很短，因此成了传奇。 许多用户发现，他们可以开始构建数据集，并在几分钟内完成极其复杂的亲和力分析。 只要您熟悉变量、数据类型、函数、条件和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

11. Orange

Orange是一个以Python语言编写的基于组件的数据挖掘和机器学习软件套件。它是一个开放源码的数据可视化和分析的新手和专家。数据挖掘可以通过可视化编程或Python脚本进行。它还包含了数据分析、不同的可视化、从散点图、条形图、树、到树图、网络和热图的特征。

12. SAS Data Mining

使用SAS Data Mining商业软件发现数据集模式。 其描述性和预测性建模提供了更好的理解数据的见解。 他们提供了一个易于使用的GUI。 他们拥有自动化的数据处理工具，集群到最终可以找到正确决策的最佳结果。 作为一个商业软件，它还包括可升级处理、自动化、强化算法、建模、数据可视化和勘探等先进工具。

13. Apache Mahout

Apache Mahout是Apache软件基金会（Apache Software Foundation）的一个项目，用于生成主要集中在协作过滤、聚类和分类领域的分布式或其他可伸缩机器学习算法的免费实现。

Apache Mahout主要支持三种用例：建议挖掘采取用户行为，并尝试查找用户可能喜欢的项目。 集群需要 文本文档，并将它们分组为局部相关的文档。 分类从现有的分类文档中学习到特定类别的文档是什么样子，并能够将未标记的文档分配给（希望）正确的类别。

14. PSPP

PSPP是对采样数据进行统计分析的程序。 它有一个图形用户界面和传统的命令行界面。 它用C语言编写，使用GNU科学图书馆的数学例程，并绘制UTILS来生成图表。 它是专有程序SPSS（来自IBM）的免费替代品，可以自信地预测接下来会发生什么，以便您可以做出更明智的决策，解决问题并改进结果。

15. jHepWork

jHepWork是一个免费的开放源代码数据分析框架，它是为了使用开放源代码软件包和可理解的用户界面创建一个数据分析环境，并创建一个与商业程序相竞争的工具。

JHepWork显示数据集的交互式2D和3D图，以便更好地分析。 Java中实现了数字科学库和数学函数。 jHepWork基于高级编程语言Jython，但Java编码也可用于调用jHepWork数值库和图形库。

16. R programming Language

为什么R是这个名单上免费数据挖掘工具的超级巨星?它是免费的、开源的，并且很容易为那些没有编程经验的人挑选。实际上，有数以千计的库可以集成到R环境中，使其成为一个强大的数据挖掘环境。它是一个免费的软件编程语言和软件环境，用于统计计算和图形。

在数据采矿者中广泛使用R语言进行统计软件和数据分析。近年来，易用性和可扩展性大大提高了R的知名度。

17. Pentaho

Pentaho为数据集成，业务分析和大数据提供了一个全面的平台。 有了这个商业工具，你可以轻松地融合任何来源的数据。 深入了解您的业务数据，为未来做出更准确的信息驱动决策。

18. Tanagra

TANAGRA是一个用于学术和研究目的的数据挖掘软件。 有探索性数据分析，统计学习，机器学习和数据库领域的工具。 Tanagra包含一些监督学习，但也包括其他范例，如聚类，因子分析，参数和非参数统计，关联规则，特征选择和构建算法。

19. NLTK

自然语言工具包，是一套用于Python语言的符号和统计自然语言处理（NLP）的库和程序。 它提供了一个语言处理工具库，包括数据挖掘，机器学习，数据报废，情感分析和其他各种语言处理任务。 构建python程序来处理人类语言数据。

大家都知道，选购可视化大数据分析软件就是为了通过数字化运营来促进收益。一款出色的可视化分析软件会将各个指标的数据都分析到位，帮助领导做出良好正确的决策。然而，不是所有可视化大数据分析软件都能发挥该发挥的作用。其实，在使用可视化大数据分析软件的过程中，学会几招重要技巧，可以帮助最大程度发挥可视化分析软件的功能。

采用动态报告

当企业需要实施商业智能解决方案时您应该考虑动态报告。动态报告可以随意创建，操作和修改。

它们旨在为企业提供想要的信息。企业可以通过添加、过滤，以及更改信息来控制如何查看数据。

当企业使用动态报告分析销售指标时，可以按地区，产品或客户细分信息。简而言之，动态报告是直接而直观的。静态分析报告无法提供其相同的灵活性。一旦建立了静态报告，就不能改变其基本结构。

对于像提交月度报告和季度报告，这可能没有问题，但是，企业将无法深入分析数据。

自助式商业智能

在数据分析方面，传统上只有专家能够理解复杂的报告。而另一方面，商业智能使数据分析更加简单。现在任何级别的用户都可以随时轻松访问数据。这就是为什么自助式商业智能越来越受欢迎的原因。它允许人们使用商业智能解决方案来实时研究数据，并自行构建准确的可视化报告。

选择自助式可视化大数据分析软件，将为企业的工作人员提供易用性。

移动商业智能

一个良好的商业智能解决方案应该让用户随时随地访问信息。移动应用的增长和智能手机的能力已经导致移动商业智能(Mobile BI)的兴起。

根据阿伯丁集团的数据，使用移动商业智能的公司比没有采用的公司有更多的时间获得商业数据。这是一个竞争优势，因为能够做出明智的商业决策。

行业的认可

企业应该检查自己正在考虑的商业智能提供商是否具有良好的信誉。 包括业务价值，客户满意度，以及供应商支持。

着眼未来

对商业智能解决方案的投资是企业对其业务未来的投资。如果企业选择一个正在向前发展的供应商，其业务也将向前发展。

以上就是一款出色的可视化大数据分析软件该具备的几个被人忽视的功能。好好掌握这几招，将对你的企业决策有一定的帮助。

对于许多大企业来说，开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管开展的调查显示，如今62.5%的企业在生产环境中至少运行一种大数据工具或应用软件。这比2013年给出同样回复的企业数量高出近一倍，只有5.4%的受访企业没有大数据计划。

说到大数据分析，开源软件是常态，而不是异数。许多企业使用的一些领先工具由Apache基金会管理，许多商业工具至少一部分基于这些开源解决方案。

我们在本文中介绍了市面上12款顶尖的开源数据分析解决方案，其中一些为大数据分析提供了全面的端到端平台，另一些要与其他技术结合起来。它们都适合大企业使用，都是市面上领先的数据分析工具。

1. Hadoop

谈到开源数据分析技术，就不可能不提到Hadoop。Apache基金会的这个项目已经几乎成为大数据的同义词，它让企业能够大规模分布式处理极其庞大的数据集。TDWI和SAS联合开展的一项调查发现，近60%的企业预计在2016年年底之前会在生产环境中拥有Hadoop集群。

然而值得一提的是，Hadoop本身无法实现数据分析。它通常是从大数据获取洞察力的整个更庞大解决方案的一部分。

2. Spark

Spark也是Apache旗下的一个项目，它承诺可以迅速处理大数据。实际上，它声称“在内存中运行程序的速度比Hadoop MapReduce快100倍，在磁盘上运行程度的速度快10倍。”由于这种出色性能，它常常用于分析流式数据或用于需要交互式分析功能的应用软件中。许多公司经常把它与Hadoop或Mesos一起使用，不过它也能独立运行。最近，它的人气得到了急剧提升，Syncsort在2016年开展的一项调查发现，受访的企业大数据工作人员中近70%对Spark有兴趣。

3. Talend

不像前面两个项目，Talend由一家营利公司管理，而不是由基金会管理。因而，提供收费支付服务。Talend既提供免费产品，又提供收费产品。它免费的开源解决方案名为Talend Open Studio，下载量已超过了200万人次。

市场研究公司Gartner最近将Talend评为数据集成领域的“领导者”。这家公司声称，相比与之竞争的解决方案，它帮助企业分析大数据的速度快五倍，而成本却只有五分之一。

4. Jaspersoft

与Talend一样，Jaspersoft也有多个版本，有的版本免费，有的版本收费。社区版是免费、开源的，而Reporting版、AWS版、专业版和企业版需要收费，不过随带支持服务。

Jaspersoft是一款开源商业智能工具，旨在让企业用户可以借助自助服务，满足自己的要求。该公司声称，它的技术支持130000多款应用软件，提供嵌入式商业智能功能。

5. Pentaho

Pentaho自诩为“全面的数据集成和商业智能平台。”该公司主要大力推销它的商业版软件，该软件基于开源社区版。许多公司将它与Hadoop和Spark之类的工具一起使用，以便能够报告和显示大数据。该软件声称拥有一大批的知名客户，包括英国电信(BT)、卡特皮勒、纳斯达克、美国国土安全部、美国国家海洋和大气局(NOAA)、《纽约时报》、EMC及其他许多企业组织。

6. RapidMiner

RapidMiner声称是“头号开源数据科学平台”，Gartner将它评为高级分析魔力象限报告中的领导者。它能够实现自助式预测分析，承诺有望提升速度飞快的性能。用户包括宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、国际特赦组织和通用电气公司。整个RadiMiner平台包括三个独立的组件：RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。这三个组件都采用开源许可证或商业许可证，商业版价格取决于用户数量。

7. Storm

Apache Storm被雅虎、推特、Spotify、Yelp、Flipboard和Groupon之类的公司所使用，它是一种实时大数据处理引擎。它的官方网站解释：“Storm让用户很容易可靠地处理无限制的数据流，它在实时处理方面的功能好比Hadoop在批处理方面的功能。”客户可以将它与任何数据库或任何编程语言一起使用。它具有可扩展、容错、易于部分使用的优点。然而用户要注意的是，Storm还没有进入到1.0版本这个阶段。

8. H2O

H2O被60000多个数据科学家和7000多家企业组织所使用，声称是“世界上领先的开源机器学习平台。”由于它的内存技术，它提供了极其出色的性能。它还与Hadoop和Spark之类的其他许多开源数据分析工具整合起来，支持所有主要的流行数据库，提供收费的支持服务。

除了标准版的H2O外，该公司还提供Sparkling Water，这个版本整合了Spark和Steam，后者是一种端到端人工智能应用引擎。

9. Lumify

Lumify由一家名为Altamira 科技的公司开发，自称是“开源大数据分析和可视化平台。”它让用户易于创建二维或三维图形，可显示实体之间的关系，或在地图上覆盖数据。对于有兴趣深入了解它的工作原理的那些人来说，官方网站提供了几个视频，显示了Lumify的实际运行，上面还有一个演示网站，让用户可以上传自己的数据，并试用软件。

10. Drill

Apache Dril让用户得以使用SQL查询用于非关系型数据存储系统。它支持一系列NoSQL和基于云的数据存储系统，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。它还让用户可以使用单一查询，即可搜索用不同技术存储起来的多个数据集。此外，它支持许多流行的商业智能工具。

11. MongoDB

作为最知名的NoSQL数据库之一，MongoDB是一种开源非关系型数据存储解决方案。客户包括大都会人寿(MetLife)、芝加哥市、Expedia、谷歌、气象频道、BuzzFeed和Facebook。除了免费开源版外，该公司还提供一款收费的企业版和云托管的版本MongoDB Atlas。知名市场研究机构弗雷斯特研究公司将MongoDB评为大数据NoSQL领域的“领导者”。

12. SpagoBI

SpagoBI是一款开源商业智能和大数据分析平台。该软件完全免费，但还提供收费的用户支持、维护、咨询和培训等服务。它包括了用于报告、多维分析(OLAP)、图表、位置情报、数据挖掘、ETL(抽取转换和加载)及更多其他方面的工具。它还与流行的内存处理引擎整合起来，能够实现实时处理。

原文地址：http://linuxprobe/12-valuable-data-analysis.html

关注微信公共号，掌握最新IT资讯，免费领取RHCE考试真题。

大数据分析，是互联网从业者必须具备的一项基础技能，只有掌握数据分析，做项目才能更科学化、对于项目的预判，能够更准确的把握。今天分享的这些数据分析工具，是我们分析项目经常用的工具，毫无保留的分享给大家，希望大家在操作项目的过程中熟练的使用这些工具。 定能够让你在网赚道路上无往不胜。1、百度指数第一款必备工具。百度指数，我们在查询某一些关键词的时候，首要考虑的就是百度的数据如何，因为百度这个搜索引擎在互联网搜索引擎中占据的份额最大，数据精准度高。检索的很多关键词以及一些热点词的数据对比，都能直观展现出来，通过人群、年龄、性别、兴趣爱好、地域等更为详细的信息，方便我们做出更理智的判断。

2、微指数我们在查询一些关键词的时候，要分析社交数据。对于产品传播非常重要，通过调查数据，我们知道如何把握住当今热点，让产品蹭热度飞一会，是很多商家考虑的问题。新浪微博旗下产品微指数，可以很容易帮我们把控热点关键词。让我们清楚地看到近七天趋势如何，及时对产品做出调整。

3、阿里指数我们在操作某宝店铺项目的时候，需要分析更多的数据，来确定标题内容如何定位优化，用户检索更为简单，如何蹭热点关键词飞上那么一会儿，如何引爆流量做核心爆款。这个跟成交量有非常大的关键，哪类行业有哪些关键词在搜索时上升幅度比较快，很有潜力，知道这些信息后，我们都需要提早的布局。等相关的关键词上升到一定幅度时，我们恰好出现在热点上，在用户检索时很容易爆单。这个数据分析工具是中小卖家逆袭的机会。一定要好好研究。

4、腾讯指数BAT三大巨头，柒点哥介绍两家了，怎么可能缺少 TX 指数，TX 旗下的各类产品琳琅满目，自然对数据掌握的精准程度不是一般企业可以比拟的。算得上行业顶尖了。但是目前为止使用腾讯指数分析的用户实在少之又少，大部分人不知道这个功能，今天柒点哥告诉大家，腾讯确实有指数分析的功能。而且可以从九大品类开始分析数据，可以说是一款很强大的运营工具。

5、爱站网爱站网：是一个综合性的数据分析平台。我平常都在用这个网站分析一些网站相关的信息，比如，网站收录状况，PR值，域名信息，友情链接等一些数据。但是最长用的一个功能就是长尾关键词发掘。这项功能有助于我们通过主关键词，发掘带流量的附属关键词的状况，类似于百度推广后台的数据分析。非常不错的免费工具，大家以后可以常用。

6、QQ指数QQ指数是一款基于QQ平台用户数据分析的移动端指数类产品，定位于洞察QQ平台上年轻人最新、最热、最关注的社交内容，通过分析QQ平台上用户公开发表的说说、评论及搜索、浏览等行为数据，发现年轻人的热点趋势及舆论风向，透过QQ指数可以快速掌握年轻人的兴趣喜好和行为习惯等信息。作为T讯旗下最为核心的产品，对于我们互联网人士来讲，把它称为流量的天堂，只要随便找一个平台来操作产品，坚持一段时间都能暴富的。所以研究T讯系的核心产品，离不开QQ指数这个工具，对于我们把控QQ流量热点的趋势有很好的帮助，是非常重要的营销利器。

QQ指数官方账号：qq搜索框搜索 QQ指数，关注公众号即可查询，主要是带认证图标的那个。7、微信指数微信指数是微信官方提供的基于微信大数据分析的移动端指数。2017年3月23日晚，微信官方推出了“微信指数”功能。作为T讯旗下，第二个核心产品，微信可以说是后来者居上，各种苗头都表明要赶超QQ的趋势，对于我们互联网人士来讲，这是最好的变现渠道。因为很多网赚项目，最后结款的地方都是在微信端成交的。所以我们非常有必要来分析他的数据，基于微信推出了这一功能，让我们省了很多分析微信数据的时间。

微信指数官方渠道：小程序搜索微信指数8、安卓权重榜我们操作的一些项目，免不了在APP上操作，但是这个平台流量如何，以及人群属性，都很难预估。但是我们又必须了解数据才能够伸缩有度，所以我常用的这款APP数据软件，就能够给我带来客观的数据。

9、新榜以榜单为切口，新榜向众多500强企业、政府机构提供线上、线下数据产品服务，“号内搜”、“新榜认证”、“分钟级监测”获得广泛应用。在协同内容创业者商业化方面，新榜依托数据挖掘分析能力，建立用户画像和效果监测系统，连接品牌广告主和品牌自媒体。作为公众号的运营者，我特别注重公众号的分析，以及项目渠道的发掘。新榜作为专业的内容数据提供商，我是经常会使用他来分析数据，查看某些公众号潜力，随时观察它的盈利模式以及动向。

10、梅花网作为互联网人士，写文章投放广告，是我经常要做的事情，但是如何让广告的每一分钱都花到潜在客户身上，是我经常要考虑的。如何知道同行在哪里投放广告，也是我所关心的，梅花网是广告监测比较专业的网站，我经常用来分析广告数据，在这里推荐给大家。

总结：以上的十个工具呢，就是我经常用到的数据分析工具。我认为这是每一个互联网从业者都具备的基本功，用好数据分析，操作项目更加的事半功倍。但是用的时候不能太死板，可以结合起来相互用。实干派动手做，花架子空叹息，让技术为你工作。赚钱的玩法很多，只有思路够宽，你才能走的更远。没赚到钱，并不是文章干货不够，而是你懂得太少了。 保持空杯心态，永远在进步。

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

　　【IT168 技术】本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

　　什么是预测分析软件?

　　预测分析是高级分析的一个分支，用于对未来未知事件进行预测。预测分析使用数据挖掘，统计，建模，机器学习和人工智能等多种技术来分析当前数据，以预测未来!那么下面将为大家简单介绍一下以下的20多款工具!

　　1.R Software Environment

　　R是用于统计计算和图形的免费软件，可运行在各种UNIX，Windows和Mac OS平台上。R提供了广泛的统计功能，如线性，非线性建模，经典统计测试，时间序列分析，分类，聚类和图形技术。它也是高度可扩展的，提供数据操作，计算和图形显示，数据处理，数组计算，数据分析工具，包括条件，循环和许多其他功能的编程语言。语言主要用于统计方法论的研究，R为它们提供了一个开源的途径，可以在R中产生精心设计的质量图，包括数学符号和公式。

　　2.Dataiku

　　Dataiku Data Studio(DSS)是一个软件平台，汇总了从原始数据到生产应用程序所需的所有步骤和大数据工具。DSS分析数据通过简单的界面操作，即可找到数据中的相关性和重要变量，并测试最佳拟合模型。DSS还可以将模型和预测值发布到各种其他目的地，例如ElasticSearch，FTP服务器和内部数据仓库。

▲

　　3.Orange Data mining

　　Orange Data mining是一个开源的数据可视化和分析工具。数据挖掘是通过可视化编程或通过Python脚本完成的。Orange会记住这些选择，提供最常用的组合，并智能地选择要使用的小部件之间的通信通道。可以利用情节，条形图，树状图，网络和热图来进行可视化。有机器学习的组件，可用于生物信息学和文本挖掘。该解决方案包含了用于数据分析的功能，并且在Orange中有超过100个小部件。

▲

　　4.RapidMiner

　　RapidMiner可作为数据分析的独立应用程序使用，也可作为集成到专有产品中的数据挖掘引擎。RapidMiner提供数据挖掘和机器学习程序，包括数据加载和转换，数据预处理，可视化，建模，评估和部署。RapidMiner是用Java编程语言编写的。它采用的学习计划和归属来自于Weka的机器学习环境，统计建模方案来自R Project。可用于文本挖掘，多媒体挖掘，功能设计，数据流挖掘的集成方法的发展，以及分布式数据挖掘。

　　RapidMiner v6.0仍然是开源的。RapidMiner的最新版本现在仅作为试用版或商业许可证提供。

▲

　　5.Anaconda

　　Anaconda是一个由Python支持的开放式数据科学平台。 Anaconda的开源版本是Python和R的高性能版本，包括超过100种用于数据科学的最受欢迎的Python，R和Scala软件包。还可以访问超过720个软件包，可以使用包含在Anaconda中的conda，包，从属关系等。

▲

　　6.KNIME

　　KNIME桌面版是开源的，是用户友好的数据访问，数据转换，初步调查，预测分析，可视化和报告的图形工作台。开放的集成平台提供了1000多个模块或节点。KNIME还提供了基于数据信息开发报告的能力，并将新见解的应用自动化回到生产系统。KNIME产品有KNIME Desktop，KNIME Professional，KNIME Team Space，KNIME Server和KNIME Cluster Execution。 KNIME Desktop可以自由下载到桌面。基于Eclipse平台的，并且有双重许可证。非开源产品中的功能包括共享存储库，身份验证，远程执行，调度，SOA集成和Web用户界面。

▲

　　7.DMWay

　　DMWay使得预测分析更易于获取并且价格合理。DMWay解决方案允许用户在几个小时或几天而不是几个月的时间内建立更好的预测模型，这可以适应任何行业。DMWay分析引擎可以提供最高级别的建模。分析引擎设计用于模拟经验丰富的数据科学家采取的步骤，以建立准确有效的分析模型。DMWay评分引擎是建议企业寻求协助部署由分析引擎提供的预测分析结果的工具。

　　这个创新的解决方案是通过使用专家系统方法而不是“机器人”方法来实现的，模仿有经验的数据科学家关于构建大规模预测模型的方式。DMWay评分引擎是为企业寻求协助部署由分析引擎提供的预测分析结果而推荐的工具。

▲

　　8.HP Haven Predictive Analytics

　　HP Distributed R是R语言的开源，可扩展和高性能平台，可加速大规模机器学习，统计分析和图形处理。Haven Predictive Analytics为HP Vertica提供数据加速和原生SQL支持。与市场领先的列式MPP数据库的本地集成将总体数据访问性能提高了5倍，并提供了一整套经过验证的开箱即用的并行算法，以成熟的标准R算法生成准确一致的结果。是预测分析免费，完全兼容开源R语言和工具，并得到惠普企业的支持，并按每个节点定价。HP Haven Predictive Analytics由HP Vertica和Distributed R提供支持。Distributed R是基于与HP Labs开发的开放源代码R语言的高性能分析引擎，可满足要求最苛刻的大数据预测分析任务。分布式R提高了性能，并允许用户分析比以前流行的R统计编程语言更大的数据集。

　　9.GraphLab Create

　　GraphLab Create是一个为开发人员和数据科学家构建的机器学习平台，具有函数式编程技巧和对数据科学的一些基本理解。能够轻松地实现从想法到生产的原型和规模。示例服务包括推荐系统，欺诈检测或客户流失预测器。开发人员和数据科学家能够快速部署并轻松与其他应用程序集成。Discover版本提供免费的开发者许可证，并提供社区论坛支持。

▲

　　10.Lavastorm分析引擎

　　Lavastorm分析引擎公开版是一个易于使用，成本效益的工具，用于临时发现和业务分析。公开版对于希望将分析处理能力放在桌面上的用户非常理想，而且不需要大型数据处理能力，提供自动持续分析和协作功能。Lavastorm是一种可视化的数据发现解决方案，可以让你快速整合不同的数据，轻松发现洞察，并持续检测异常，异常值或模式。它为企业用户提供自助服务能力，为IT用户提供集成，分析和业务控制领域的快速开发能力。其功能包括从任何来源(包括大数据源)获取，转换，合并和丰富数据，而不需要大量建模，预先规划或用脚本。可检测数据问题，如完整性，格式不一致，准确性，自动化评估和清理流程。

▲

　　11.Actian Vector Express

　　Actian Analytics Platform(Express Hadoop SQL Edition)是Hadoop内部运行100%的免费社区版的端到端分析平台。Actian分析平台将Hadoop转变为一个高性能的分析平台，使企业能够通过分析来自多个来源的数据而无需采样，从而提高预测和决策的准确性。Actian Express，Hadoop SQL Edition使用现有的Hadoop集群提供高速和性价比。Actian Vector Express是Actian分析平台的免费社区版本，旨在提供快速简单的方法来提高分析的性能。它建立在基于矢量的分析数据库基础之上，Actian Express提供很好的性能和性价比，并且需要更少的硬件，几乎不需要调整。Actian Vector Express包括以下功能：分析工作台 - 快速构建可视工作流程准备，转换和分析数据，分析数据库 - 在几秒钟内运行复杂的查询反对数十亿条记录和管理控制台。

▲

　　12.Scikit-learn

　　scikit-learn是简单高效的数据挖掘和数据分析工具。它是Python中的机器学习库，建立在NumPy，SciPy和matplotlib之上，它也是开源的。其特点包括分类，回归，聚类，降维，模型选择和预处理。

▲

　　13.微软R

　　R是强大的，用于统计计算，机器学习和图形的首选编程语言，并得到用户，开发者的繁荣的社区支持。R家族包括，服务器，客户端，SQL Server等服务。支持各种大数据统计，预测建模和机器学习功能，R Server支持基于开源R的全方位的分析探索，分析，可视化和建模。Microsoft R客户端是免费的社区支持。

　　14.H2O.ai

　　H2O是一个开源的预测分析平台。H2O用户可以轻松地从微软Excel和RStudio中探索和建模大数据，并将其与来自HDFS，S3，SQL和NoSQL数据源的数据连接起来。H2O讲述了数据科学的语言，支持R，Python，Scala，Java和强大的REST API。业务应用程序由H2O的NanoFastTM评分引擎提供支持。包括：分布式算法和回归树，如GBM，随机森林(RF)，广义线性模型(GLM)，k-均值和主成分分析(PCA)。

　　15.Weka Data Mining

　　Weka是用于数据挖掘任务的机器学习算法的集合。算法可以直接应用于数据集，也可以从Java代码调用。Weka包含用于数据处理，分类，回归，聚类，关联规则和可视化的工具。它也非常适合开发新的机器学习方案。 Weka是用Java编写的，由新西兰怀卡托大学开发。

▲

　　16.Apache Spark

　　Apache Spark是用于大规模数据处理的快速且通用的引擎。Spark需要一个集群管理器和一个分布式存储系统。对于集群管理，Spark支持独立(本地Spark集群)，Hadoop YARN或Apache Mesos。对于分布式存储，Spark能与各种各样的，包括Hadoop分布式文件系统(HDFS)，MAPRA文件系统(FS-MAPRA)，Cassandra，OpenStack Swift，亚马逊S3，Kudu，或自定义解决方案实现对接。

　　17.Octave

　　Octave是数字计算的高级解释语言。它提供了数据可视化和操纵的线性，非线性问题和图形的解决方案。有许多可用于公共数值线性代数解决问题的工具，寻找非线性方程的根，集成普通功能，操纵多项式，及整合的普通微分和代数微分方程。

▲

　　18.Tanagra

　　Tanagra是一个用于学术和研究目的的免费数据挖掘软件，它具有探索性数据分析，统计学习，机器学习和数据库等多种数据挖掘方法的功能。支持标准的数据挖掘任务，如：可视化，描述性统计，实例选择，特征选择，功能建设，回归，影响因子分析，聚类，分类和关联规则的学习。

　　19.PredictionIO

　　PredictionIO是一款开源的机器学习服务器，可以让软件开发人员创建个性化，推荐和内容发现等预测功能。通过PredictionIO，预测这种特点的用户行为，提供个性化的视频，新闻，交易，广告，职位，事件，文件，应用程序，餐馆和匹配服务。

　　20.Apache Mahout

　　Apache Mahout提供可扩展的机器学习算法，主要集中在协作过滤，聚类和分类。许多实现使用Apache Hadoop平台，包括成熟的Hadoop MapReduce算法，Scala，Spark和H2O算法。协同过滤：基于用户的协同过滤，基于项目的协同过滤，矩阵分解与ALS，矩阵分解与隐式反馈和加权矩阵分解，SVD + ALS。