大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

人们总是喜欢把遇见的未知事物套入自己已有的经验，人很聪明。

中国其实是一个很特别的国家。有太多的段子来描述很多的“中国特色”。从开始工作到现在，几波概念的冲洗，有的落实了，有的还在空中，但我们也更加清楚地认清了一些事情，也理解了一些事情。80后（2000年到2009年上大学那波的人）都会在人生的黄金年龄经过：互联网，软件，服务外包，电子商务，云计算，物联网，移动互联网，大数据等大潮。就业与创业也大都要搭上这些船。

大数据概念

什么是大数据？不解释。你想到什么就算什么，因为你的脑子已经被这个概念及相关概念洗过了。

注：大数据可以泛指包括大数据本身在内的大数据、机器学习、数据挖掘等概念的统称。

先看看大数据概念在中国的发展趋势：

三点：

2012年以前基本没这概念。大数据概念一路发展迅猛。2017年，大数据概念爆发。

要想理解一件事，就必须看看国际范围是怎么样的：

也是三点：

大数据确实是一个五年内出现的新主题。国际范围内发展势头趋于平稳。国际已平稳，中国在爆发。

由于中国是一个很大局域网，并且并未使用国际语言（英语），导致的信息差其实就是一个巨大的X。X = 问题 也可能 X = 机会。也就是说：国际范围的成熟大数据技术在中国是一个X，X是黑坑或者是金坑。但很明显，基于80后对各种概念的经验，我不会进。

对比大数据与商务智能

对比之下，方有真相。

“商务智能”这个中文词在百度指数里居然根本没有收录，你搜索BI会发现，它的发展基本是平的。甚至，在2014年就被“大数据”概念该淹没了。可以开始思考了：

可能BI（商务智能） 没怎么发展。大数据这种新技术一开始就发展快，超越了BI。还是BI根本没发展起来，大数据就打出了泡沫。

继续看看世界范围内的情况：

红线 表示 BI蓝线 表示 big data然后可以真的开始思考了：

在国际范围，BI完胜大数据，而且是压倒性的！在中国，大数据压到了BI。国际BI > > > > 国际big data > > > 中国 大数据 > 中国BI

重要的必须重复：国际BI > > > > 国际big data > > > 中国 大数据 > 中国BI大于号“>”表示落差的感性表示。

现在已经很清楚了！

数据化办公才是落地的

提到数据化办公，又是一个概念，本质就是：Excel。99.9%的人办公，要处理数据，用什么？就是Excel。

也很明显，这是中国和国际在这个领域的一个共性，那就是Excel都以压倒性的趋势超过BI或大数据的概念，而且十分稳定。说明：

Excel 是一个基本没有泡沫的事。（已经能免费下载到书、视频、软件等庞大资源）Excel 才是当今天下数据化的真相和普遍常态。注意：Excel 和BI（商务智能）或大数据可能并不矛盾。（Excel也许也可以大数据或商务智能哦~）

这里必须说明几点：

Excel是一个基本没有泡沫的事，表现在已经能免费下载到海量相关书籍、大学开设课程、大量教学视频、大量软件（含盗版）等庞大资源。

在这点上，大数据能吗？不能。正相反，大数据正在依靠其概念疯狂吸金！其结果呢，看一则新闻略见一斑：请百度《年薪百万的机器学习专家，为什么不产生价值？》

很明显，没钱的企业也玩不起，有钱的可以任性。

即使Excel是常态，也很少有这种承认，尤其在某种特色下，那就是：“面子”。人家年薪百万的人都搞不定的事，一个大街货Excel就搞定了，这可能吗？！如果把Excel比作写字，有人可能还不会写字，有人可能正在写字，有人则把写字变成了生产力，也有人把写字变成了艺术。可惜可叹每个必须要学会写字的人居然不真的了解写字。80%的人都会Excel对吧？那么做个测试：Excel和电子表格是一回事吗？Excel里的区域和表格有何不同？是否用过Excel里的vlookup？vlookup有两个限制，分别是什么？vlookup的替代方案是什么？全部回答正确，恭喜进入80%的人的行列了。或者你可以承认另一个命题了：80%的人都不真的会Excel，还有20%的人不知道是什么情况呢。

OK。既然Excel是已经落地的实在的基础，不要不好意思，不少公司确实连一个会用Excel的都没有（没进入刚刚的80%行列），居然要搞大数据。

从Excel出发，也许就是你要的。

从Excel到商务智能

再次重复刚刚的重要结论：国际BI > > > > 国际big data > > > 中国 大数据 > 中国BI

其中蕴含了三件事：

BI是很成熟的，并且超过大数据。大数据在中国有泡沫。如果在考虑大数据，说不定应该先考虑BI。

关于Excel的重要两件事：

Excel是目前国际及中国范围内数据化处理的事实标准，是落地的。Excel和大数据和商务智能可能不矛盾。

重要思考：如果Excel支持大数据或商务智能，那么不就可以从Excel出发了吗？

微软Office Excel专业增强版支持商务智能

在确定你或公司是使用Excel的80%的人中，很多东西没搞对，是因为没选择对，不信你看：

在包含Excel的Office中，居然有这么多版本，包括但不限于：

Office 365 商业版Office 365 商业协作版Office 365 商业高级版Office 365 企业版Office 365 专业增强版Office 365 家庭版Office 2007其他长得像Excel但又不是Excel的软件

其中只有一个是对的，那就是：

正版是75元/人月，当然你懂的话外之意。

好的：选择正确的工具，从Excel开始商务智能，驾驭大数据吧。

前些日子，全球数据仓库技术专家Stephen Brobst在2018 Teradata全球用户大会上发表了名为《数据分析的未来》的演讲，他表示，未来“大数据”这个词或许会消失，取代它的是“全量数据”时代。

时代在转变，但有人依旧没迈开步伐

“在硅谷，要么你已经是一家数据公司，或者将来会成为一家数据公司，或者已经被彻底淘汰。因为大数据正在变革各个行业认识自己的方式。”

数据会直观地反映事实，企业或机构利用数据可以挖掘出自身还有关于市场的很多讯息，有了讯息才会有全面的了解和把握，才能做出更好的决策，而不是盲人摸象。

由此可见，数据是何等重要。挖掘数据的目的不在于数据本身，而是数据经过分析处理之后可以给企业和社会机构带来的价值。

简单举例而言，我们通过消费者的购买数据分析出购买习惯和偏好，从而指导我们如何改进产品和营销方式等，这就是一种挖掘数据产生价值的方式。

尽管这已经是从“大数据”走向“全量数据”的时代，但国内绝大多数企业仍旧处于数据裸奔的状态中，有的企业只是单纯统计、采集数据，将其视为一种指标，有的企业更是还不做数据收集。

这些企业普遍都认为，投资数据化管理、购置数据处理工具是很浪费的事情。

数据分析并不复杂，也不难执行

但事实上，数据处理工具其实很便宜，甚至只要你肯花心思，甚至可以做到免费，比如说现在很多企业都在使用的云表企业应用平台。

名字听起来很高大上，功能也确实如名字一般足够强大，但它在设计上兼顾了平民化、低门槛，每个企业都能用得起（甚至有免费版），重点还在于它的使用方式，会用Excel、会画表格就可以用它来实现各种场景下的数据管理需要。

数据就是资源，不做数据采集分析就是在浪费价值

拿云表举例而言，云表可以根据每个企业需要，搭建各种企业管理系统，不用编程，就能自主搭建各种类型的企业数据管理系统。

小到进销存，大到ERP、WMS等大型管理系统，传统软件工具都有的它都具备，工作流程流转、多用户协同办公、用户权限控制、BOM设计……

可以与第三方软件对接实现数据交互，也可以对接微信公众号和网站，更可以自动生成APP实现移动办公。

云表更具有强大的数据透视功能，可以根据需要对数据进行万能透视，也可以设计各种数据分析报表，销售统计分析报表、利润分析报表……等，你需要的报表，都可以随时生成。

而以上所列举的这些，如果不利用工具做数据采集分析，都不可能做到，也就等于是在浪费这些企业本应获得的价值。

工具是手段，解题才是目的

必须重申，工具终究只是工具，它是执行管理者管理思维的手段，所以作为管理者必须知道自己在做什么，而不是盲目地购买、布置。

对于这一点，云表公司常年开班免费教你怎么用，避免了添置工具却不会用、用不好反而效率下降的尴尬。

Stephen也指出，如何吸取和提炼系统的数据也很重要，如果没有总结能力和提取能力的话，换个新问题你还是不会做。

经过系统的学习，确实地掌握了工具的功能和逻辑之后，自然也能加深对数据的理解，让数据成为企业面对运营难题的解题依据。

————————————

数据对企业的好处不言而喻，一款好的数据分析工具对企业的作用不可估量。但却不要把企业数据分析想象的多么高大上，好用接地气的软件工具才是当前中国企业的最佳选择。

未来将属于能将数据转化为产能的企业，培养数据化管理意识，学会利用工具挖掘价值，才能在这个时代保持领先，你不这么认为吗？

来源：大数据文摘（BigDataDigest）

“满城尽谈大数据”，但很多人其实并不理解大数据真正价值是什么，哈佛大学Gary King教授用3个大数据研究案例告诉你：有数据固然好，但是如果没有分析，数据的价值就没法体现。

2017年初，哈佛大学政治学系教授加里·金（Gary King）在上海交通大学举办了一场名为《大数据，重要的不是数据》（Big Data is Not About the Data）的讲座。

主讲人Gary King是哈佛大学的校级教授（University Professor）。King教授以实证研究知名，擅长量化研究，其研究涉及政治学、公共政策、法学、心理学和统计学等领域。

1月4日，Gary King教授在上海交大演讲现场

以下是Gary King 教授演讲实录（有删节）：

我工作的领域叫做量化社会科学（Quantitative Social Science），有时，它有一个别称，叫大数据。“大数据”这个词最早是媒体发现的，它试图向大众解释我们是做什么的，目前看来解释的效果还不错。

然而，大数据的价值不是在数据本身，虽然我们需要数据，数据很多时候只是伴随科技进步而产生的免费的副产品。比如说，学校为了让学生能更高效地注册而引进了注册系统，因而有了学生的很多信息，这些都是因为技术改进而产生的数据增量。

大数据的真正价值在于数据分析。数据是为了某种目的存在，目的可以变，我们可以通过数据来了解完全不同的东西……有数据固然好，但是如果没有分析，数据的价值就没法体现。

先来看一个大数据在公共政策层面运用的案例。

我们曾经做过一个评估研究，发现2000年以后美国社会保障管理总署（U.S. Social Security Administration，简称“SSA”）对于美国社保账户及人口寿命的预测有系统性偏差。

2000年以后SSA对社保基金账户情况的预测出现显著偏差

大背景是，美国的社会保障平台是美国最大的单一政府平台，它的资金是跨代流动的——当前退休者的养老金供给来自于他们的下一代，即现在工作的人交的税金。

所以SSA需要预测这个信托基金项目里的资金流，以及人的寿命，正确预测这两点很重要，如果人们比SSA预期的更长寿——虽然这是好事——就很可能导致信托基金里就没有足够的钱给他们养老了。

我们研究发现，SSA的预测在2000年以后出现了系统性偏差——发生偏差的原因之一，是SSA使用的模型本质上定性分析的模型，且多年来几乎没有调整。由于一些药物的使用和癌症早期发现，美国人开始比模型预测地更长寿了。

我们通过分析得出的结论是，美国社保信托基金至少存在8千亿美元的缺口。

虽然结论有点不幸，但是政府需要提前知道。这样政府就可以有空间在税率，退休年龄等方面进行调整。这是公共政策层面的话题。

关于定性分析和定量分析，其实不是泾渭分明的。做分析全靠定性分析（由人主导）是不够的，因为你有很多数据不知道该怎么处理。 全靠定量分析（由机器主导）也不行，这就像一张巨大的excel表，但是表中没有行、列的标签。所以，大数据分析需要的是由人主导，由计算机辅助的技术（we need computer-assisted, human-led technology）。

我们还做过一个计算机辅助阅读的实验。我们开发了一套计算机辅助、自动化阅读的技术，这项技术能帮助人们从非结构化的文字中提取、组织并且处理大量信息。

我们曾用该技术处理了64000篇国会议员官方发布的新闻稿，想通过这项基础帮我们作分类，看国会议员在新闻稿中都说了些什么。

结果我们发现，居然有高达27%的议员发布的新闻稿内容只是单纯地想抨击对方（Partisan Taunting），而不是想要平衡预算或停止战争，或解决问题。

Gary King表示，抨击对方政党从个人角度来看是理性的，但是从整个集群的角度来看，是非理性的，如果抨击对方的言语增多，政党之间的合作关系和能效会减弱

大数据时代，我们可以通过去量化过去不能量化的信息，使用精妙的统计学方法分析这些信息成为可能。

现在，我们都可以对一些强定性属性（inherently qualitative）的东西作定量分析了，如音频和视频。但是，目前仍有一些定性分析工作者要分析的内容还未被量化。所以，定性分析、定量分析要配合操作才行。

我参与过一个产品项目叫做Perusall。“Peruse”是仔细精读的意思，Perusall就是peruse + all，可以简单理解为大家一起读。

这个产品产生的背景是，大学教授会给同学布置阅读作业，但是教授很难评估学生是否阅读了规定的章节。如果有的学生没读而有的学生读了，这对整体课堂的授课效果会有影响。

Perusall的好处之一，是它把阅读从一个个体活动变成了一个集体活动。阅读文章的同学可以对自己看不懂的部分做批注，也可以对其他同学的批注作回复解答。这样更容易调动同学阅读的主动积极性，让阅读变得更有趣。人天生是社会动物，这也是为什么人们相比于在iTunes里听歌更愿意花钱去看演唱会，虽然前者音乐声音更清晰。

“学生困惑报告”样本

一旦学生用Perusall在线上阅读之后，我们就有了很多之前不可能互获取的数据：知道学生在读什么，他们对阅读内容的反馈怎样，他们在读每一页的时候花多少时间；当然，如果你没有读书的第46-47页，我们也会知道这个。

一方面，Perusall会基于每个学生的阅读情况和评价质量，对学生的这项阅读作业进行打分，从老师的层面看，这省去了原先阅读作业不易评估的问题。

另一方面，Perusall会分析这些阅读数据，知道学生们读到哪里时觉得困惑。

Perusall可以在老师上课前生成一个“学生困惑报告”（Students confusion report）。拿到这份报告，我就可以在一走进课堂时说，“根据你们的阅读情况，你们可能有以下三个问题。”

本文根据Gary King教授2017年1月4日在上海交通大学的讲座内容整理、编辑而成。

编辑：周碧莹

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

什么是大数据，大数据有什么用，为什么凯文凯利说数据是必然，马云说数据是未来的一切的来源？

世界每天都在变，新的概念和名词不断涌现。

对有些人来说，大数据早被说烂，已经是过时的风口；

对有些人来说，大数据似懂非懂，听起来很“高大上”；

这篇文章为后一种人所写，如果你对大数据也似懂非懂，读完这篇你就可以搞懂它。

/ 01 /

什么是大数据

关于大数据的概念，有诸多版本，如同文化、精神这类词，没有统一定义。这里不是写论文，只引用两个版本：

1个来自维基百科：大数据是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。

1个来自百度百科：大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

维基百科说了大数据大、难处理，复杂、数据集，百度百科在此基础上强调它是一种信息资产。

两个概念共同昭示了大数据的主要特点：数量大、种类多、复杂、难处理、价值大。

那大数据是谁创造呢？

笼统说：是所有人的所有行为。

它不是今天，或者电脑诞生、互联网诞生后才有，历史上也有，只是那个时候没这个概念，古人行军打仗，商品贸易流通，城市兴起衰落无不是在生产大数据，利用大数据。

你今天早上吃什么，出门选择什么交通工具，一个行为构成一个数据。

无数个你集结一起就是大数据，我们所有人的交易行为集结一起，就是消费大数据，我们所有人出行，就是出行大数据，我们娱乐消遣，就是娱乐大数据……

所以大数据不只是excel表格里的一串字符，从构成元素上看，它包含：文字、图片、视频、音频、交易记录、生产信息、物联网信息……

于我而言，大数据是历史，是信息，是记录，记录我们所做过的一切。

/ 02 /

大数据有何用

大数据有什么用，为什么马云说，数据不仅是能源，是血液，是未来所有的一切的创新和来源？

其实大数据本身是没有任何价值。

比如大数据告诉你每天有10000个人，固定从A移动到B点。这条讯息对你可能没有任何价值。

但如果摩拜知道了，它可以选择在A点和B点分别投放不同数量的车，获得用户增长。

如果广告商知道了，它可以在A点和B点搭建N个广告展示窗口，获得广告费，而广告商背后的广告主也能因此得利。

……

（当然你也可以选择在A点或B点开一个奶茶店。）

因为大数据记录所有，它会告诉别人，人们的喜好，消费习惯，选择偏好、工作习惯……

企业可以从中觅出商机，更好解决人们需要，从而获得利润。

而最终获益的是每一个人，因为我们的需要得到了更好满足。

就目前来看，企业会更直接从大数据中获利。

大数据的价值，可以笼统归为两点：

1. 大数据为人服务，为企业和个人提供决策参考，让人少犯错，更聪明。这方面主要体现在精准营销、用户需求、市场拓展、趋势预测、资源配置、产品升级……

2. 大数据为机器服务。大数据可以训练机器设备、人工智能，让机器更聪明。这方面主要体现在物联设备、人工智能训练、搜索引擎、信息分发平台的推送机制等，都是基于大数据之上的。

关于第2点，举1个例子：谷歌智能机器人阿尔法狗之所以能横扫当代围棋高手，在于它未出战之前，已经和历史上的所有名家学习对战过，并反复与自己对战，不断超越自己，所以才战无不胜。

/ 03 /

大数据的分类

大数据大体可以分两类。

开放数据。开放数据即所有人可见的公开数据。包含但不局限以下：

网站数据；

APP数据；

大众媒介数据，如电视、报纸、电台、书等；

……

内部数据。内部数据即某些特定机构、企业拥有数据。包含但不局限以下：

政府数据，如征信、户籍、犯罪记录等；

企业数据，如阿里巴巴的消费数据，腾讯的社交数据，滴滴的出行数据等；

机构数据，如第三方咨询机构的调查数据。

终端数据，如小米智能手环搜集你的健康数据。

……

两者的区别在于，开放数据体量大，比较杂乱，目前使用率低，会使用的企业和机构较少，需要挖掘，但在未来它必定是主流数据来源，随着数据积累，数据价值和应用率会更高。

内部数据则反过来，体量相对会少，数据相对集中，目前应用更广，但对普通企业/人来说，获取难度比较高。

/ 04 /

大数据如何获取

如果企业、机构或者个人想要获取大数据，该怎么获取呢？

1.购买。

购买分两种，一种是直接向数据拥有者购买。一些公司或个人拥有一些数据，他们会出售数据变现（相对少）；

另一种方式是上数据交易平台购买数据，比如上发源地大数据交易平台，用户可以直接购买数据，也可以发布数据需求，定制数据，从开发者或数据供应商获取数据。

2.采集。

采集数据要看采集什么数据。如果要采集开放数据，方式也是两种，如果懂技术，可以自己写代码采；如果不懂技术，技术小白，可以用数据采集工具采，比如Finndy+云采集引擎。

而如果要采集内部数据的话，一般说来企业内部都有自己的数据采集软件和方式，比如工业设备会通过传感器记录数据，一些企业会人工记录采集数据。

3.自造。

比如阿里巴巴、腾讯、百度这些互联网巨头公司，从某种维度上来说，他们也是数据公司，并且拥有自造大数据的能力，如果你的企业能切中某个社会大需求，拥有海量用户和高使用频次，成为巨头，你也可以自造大数据。

/ 05 /

大数据如何应用

大数据怎么用？

这里只讲流程和逻辑，不切具体行业和场景。

不管你是用大数据去服务人，帮助你做决策，还是用大数据去训练你的机器，算法，一般都要四步骤。

数据采集。

数据采集的方法上面已经说了，这里要说的是，数据采集是数据应用的基础，数据源非常重要，如果数据源错了，后面的所有结果都是错，采集来的数据是否全，是否清洗，是否合法，是否及时，都是数据可靠性和可用性的判断维度。

数据建模。

数据采集上来了，需要对数据进行整理，按照一些规则和维度进行组织，让人和机器都能看懂。

数据分析。

数据该如何分析，分析哪些维度，怎么从过去预测未来，这是个大学问，也是各家各说，无法一一展开，在此不赘述。

数据应用。

分析完就是应用，验证分析结果。这是一个循环过程，通常需要A/B测试，反复验证优化。

如果你对大数据感兴趣，你的企业想了解大数据如何应用，你想听内行专家分享，以他山之石攻已之玉，2017.11.19.上海。欢迎来全创周现场取经。

“大数据应用的现状与未来 ”

09:20~09:45 观众入场 & 来宾签到

09:45~09:50 主办 方致辞 马建军 发源地大数据创始人兼 CEO

09:50~10:25 主题分享 : 大数据最具潜力的应用领域 (拟)

武 星 上海大学计算机科与技术系副主任

10:25~10:50 案例 / 应用内部数据，做好承诺管控 (拟)

汤 灏 零点有数集团上海对外合作总经理

10:50~10:55 Lucky Draw

10:55~11:25 对谈 / 从大数据的源头开始，让安全合规地应用 (拟)

马慧民 上海大数据联盟常务副秘书长 /云计算和大数据部长

罗晓梅 奥孚教育副总裁

11:25~11:50 干货 / 开放数据的应用现状和未来 (拟)

柳 超 天眼查创始人兼 CEO

2017. 11. 19 (日)09:30-12:00 上海 -长阳创谷 (杨浦 区长阳路 1687号)

发源地大数据（Finndy）是国内首家基于自研SaaS2.0云采集引擎的大数据交易平台，支持海量数据的分布式采集、计算及处理，以技术驱动数据交易。

科学分析、行业研究、内容扩充、运营启动，Finndy平台集合了全行业脱敏数据，满足企业对数据分析、数据运营及精准营销等方面的需求。

Excel的功能是非常强大的，如果我们能加以妥善应用，将对我们的工作效率有很大的提高，今天我们要学习的是：Excel的5大数据核对功能，核对数据只需1秒便可搞定哦！

一、快捷键Ctrl+\（反斜杠）法。

方法：

1、选定目标单元格。

2、快捷键：Ctrl+\（反斜杠）。

3、填充颜色。

二、=（等号）法。

方法：

在目标单元格中输入公式：=D3=E3。如果结果为TRUE，则为相同，如果为FALSE，则为不同。

三、IF函数法。

方法：

在目标单元格中输入公式：=IF(COUNTIF(D3,E3)=1,"相同","不相同")。

解读：

1、利用COUNTIF函数计算范围内满足条件的单元格个数。如果D3单元格的值和E3单元格的值相同,则条件成立，暨等于1，否则不成立。

2、利用IF函数判断，当D3和E3单元格的值相同时，返回“相同”，否则返回“不相同”。

四、Exact函数法。

方法：

1、在目标单元格中输入公式：=EXACT(D3,E3)。

解读：

如果D3和E3单元格的值相同，则返回TRUE ,否则返回FALSE。

五、Delta函数法。

方法：

在目标单元格中输入公式：=DELTA(D3,E3)。

解读：

此方法只对数字有效，暨对文本等值的比较不能用Delta函数。

结束语：

本文主要讲解了对文本或数据的核对技巧，其中Ctrl+\(反斜杠)法、=（等号）法、IF函数法、Exact函数法适用于文本和数字，而Delta函数法只适用于数字，并不适用于文本。

当我们需要分析的数据很多时，迷你图就展现了它的优势，能够快速帮助我们创建折线图、柱状图和盈亏图，是实现数据快速分析的好帮手。

迷你图不像一般的图表有很多类型，目前Excel提供的迷你图类型只有如图所示的三种：①折线图：展示数据发展趋势。

②柱形图：进行数据之间的对比。

③盈亏图：显示盈利和亏损状况。

迷你图的创建方法有两种（参见上图）：

① 数据范围选择一行，放置位置选择一个单元格，然后下拉填充。

② 数据范围选择多行，放置位置选择多行。

具体采用什么方法大家根据自己的喜好来选择即可。

我们初次创建迷你图时，Excel默认将所有单个迷你图放在一个组里面，这样我们可以进行统一的格式调整，如果需要对单个迷你图进行设置，只要取消组合就可以了。具体方法参见上图。

迷你图的删除方法有两种（方法参见上图）：

①整组删除。可以删除选中迷你图所在组的全部迷你图。

②单个删除。只删除选中的迷你图，其他的迷你图保留。

迷你图最常见的设置就是各数据点的显示方式。

对于折线图来讲，首点就是第一个数据系列点，尾点就是最后一个数据系列点，高点是指值最大的数据点，低点是指值最小的数据点。（如上图所示）

对于柱形图来讲，首点就是第一个柱形，尾点就是最后一个柱形，高点是指值最大的柱形，低点是指值最小的柱形。（如上图所示）

对于盈亏图来讲，负点就是值为负数的数据点。

今天为大家准备的VBA福利可以自动批量生成仿迷你图，快下载试一下吧。

之所以称为仿迷你图是因为批量创建的是一般的图表，只是样式做的像迷你图，它的优势是可以比迷你图有更多的设置（一般数据图表具有的功能全部都有），让我们有更多的发挥空间。

网易云课堂学员可在群公告中的百度云链接中下载此模块，赶紧行动吧！

效果演示：

使用VBA模块的正确姿势：

ALT+F11打开VBA编辑器→导入模块→CTRL+SHIFT+Q(自动批量生成折线仿迷你图)→CTRL+SHIFT+T(自动生成柱状仿迷你图)

随着“大数据”概念的持续“高温”，越来越多企业及个人也开始关注数据分析。

数据分析是什么？

用一句话概括，就是数据与人类认知的桥梁。

就像观察微生物需要显微镜、了解时间需要钟表、知道温度需要温度计一样，在理解人类感官无法直接认知的数据问题时就需要使用名为“数据分析”的工具了。

人类通过“数据分析”，将我们无法认知的数据信息转换为我们可以理解的知识及智慧，企业管理者依据获得的知识及智慧做出正确决策，带领企业走向成功。

数据分析能干吗呢？

数据分析主要帮助决策者了解情况、发现规律以及预测将来。

假如我是一家卖服装的淘宝店长，我需要知道一天内我卖了多少件商品、挣了多少钱、哪个品牌卖的多哪个品牌卖的少、哪种商品需要补货、哪种颜色受欢迎等等信息，以便及时做出策略调整，保持市场竞争优势。

这就是了解情况。

在经营了一段时间之后，店里积累了一些历史数据，通过对数据的深入挖掘，我发现特定人群甲喜欢购买圆领深色服装，而另一些特定人群乙喜欢购买宽松浅色服装。

于是我将圆领深色服装推销给甲，将宽松浅色服装推销给乙，这就是发现规律。

又经营一段时间后，我发现E品牌商品总是在被浏览2到3次之后就会被卖出去一件，于是我发现浏览次数与销售件数之间存在较强的关联关系，于是我想办法增加E品牌商品的点击次数，通过浏览量的趋势大致可以预测出未来一段时间内销量的变化情况。

这就是预测将来。

在工具上除了需要掌握做数据分析工作最离不开的Excel及SQL外，还要掌握一些专业的数据挖掘工具。

常使用的数据挖掘工具有Python语言、R语言、SPSS、SAS等。想成为合格的数据挖掘向的数据分析师需要一段较长的学习时间以及一定的工作积累。

业务数据分析方法的目的是对业务情况的事实描述，较少涉及数理统计的相关知识，对业务知识、数据加工处理整合方法、数据汇总方法及业务图表呈现方法的要求较高。基本不要求编程技能。

此类方法适合非数据分析专业人员学习掌握，比如像从事财务、人力资源、销售支持等业务部门工作的员工，他们已经具备相当丰富的业务知识了，再掌握数据加工、数据汇总及业务图表呈现等技能后便可以独立进行业务数据分析了。

业务人员进行业务数据分析需要掌握的基本工具主要有两个，一个是Excel，另一个是SQL。

如果你还能掌握一定的Excel Power BI技能，那么你将有可能为企业决策者提供一份高实用性的多维自助数据可视化分析成果，让决策者想知道什么信息便能快速获得什么信息。