首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具

数据分析历经报表、BI、敏捷BI、自服务BI、数据挖掘等传统发展阶段，科技创新快速发展，今天，大数据已经进化到智能革命的阶段，任何企业都面临数据智能化的转型，大数据分析平台ETHINK在以上传统功能基础上，已为企业带来新的智能基因：

智能BI是“敏捷BI+深度洞察算法”

智能DM是“特征工程+机器学习+自动化挖掘”

智能AI是“数据+专家经验+智能算法”

ETHINK数据智能分析平台V8.0版本包括数据可视化、数据分析、数据挖掘等核心技术产品，欢迎对大数据有兴趣的企业和个人前来试用。（加入ETHINK体验QQ群：213750619，即可联系客服开通账号，不收取任何费用。）

ETHINK数据智能分析平台五款核心产品介绍：

快速BI：快速、简单、敏捷，帮助数据运营企业，建立拖拽式、数据探查式、在线分析的分析平台，自适应布局，可适应大屏、PC、移动BI等各类场景。

智能BI：强大、专业、智能，帮助行业企业建立拖拽式分析分析平台，强大的2次开发能力，帮助快速复制与行业推广。

数据挖掘分析：分布式内存计算大数据挖掘平台，流程式拖拽设计，包含从数据清晰加工、数据100多种算法，可以实现从客户流失分析、故障预警、风控、征信、推荐、预测等各类数据挖掘应用。

统计分析：统计分析平台集成了丰富的统计分析算法，通过拖拽的方式实现分析，平台包括数据探索、相关分析、方差分析、聚类分析、回归分析、时间序列分析、参数估计、假设检验等100余种统计分析方法，能够解决制造业、电信、金融、医疗、电力、零售、教育、政府等各个领域的问题。

小e机器人：包含图像、语音、自然语言感知，情感分析的听说读写感知，基于大数据深度学习的认知计算能力，是企业提供深度AI应用的基础平台。通过图像识别，文字识别，以及自然语言处理，ETHINK学习更多的知识，帮助机器服务人类。帮助实现图像识别、文本分析。通过特征工程，以及深度学习算法，结合专家经验和数据智能，实现类人智能应用。

想了解更多产品内容，可访问官网http://ethinkai网站的资源库中为大家提供了详细的操作手册，可自行下载。

每次更新，都是为了更好的前行

更酷炫的功能

全新的操作界面

为了每一位用户的体验而诞生

你，还要错过吗？？

附：ETHINK演示DEMO

给大家推荐的一些用于数据分析的“必备神器”

数据可视化工具：

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

词频分析工具：

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

舆情分析工具：

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

PPT模板工具：

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

互联网趋势分析工具：

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

在线调查工具：

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

网站分析监测工具：

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

社交媒体监测工具：

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

其他数据网站：

数据分析网：http://afenxi

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

在网络，移动设备，传感器，社交媒体，交易应用程序，日志文件，大数据等实时数据泛滥的情况下，发现了大量垂直市场应用程序，从诈骗检测到科学研究。无论涉及重大隐私问题或企业困难的挑战如何，仅在2017年，大数据投资就获得超过570亿美元的增长势头。预计未来三年的投资将以约10％的年增长率进行增长。

大数据分析所需的基本资源

大数据咨询已成为软件开发服务提供商的可行选择。无论是营销还是品牌实施的新产品，公司都不会轻易作出决定。当提到任何重大举措时，企业都会寻找他们客户提供的数据，以确保公司正朝着观众遵循的方向发展。

从点击流数据到购物车上的信息，都有大量的材料需要筛选，这就是为什么企业支付高价值的大数据咨询服务才能理解这一切。对于新职业市场的人来说，大数据分析是一个不错的选择。 当然，必须熟悉开始处理数字所需的技能和工具。

大数据分析所需的五个资源如下：

1.完成MATLAB Mastery Bundle

MATLAB或Matrix是一个多范型数字计算空间和编程语言。用外行人的话来说，它是一种工具，它使得编写代码，运行脚本以及执行数据分析和可视化等任务变得轻松易懂，从而解决复杂问题，而这些代码还不那么复杂。

2. Python Power Code BONUS Bundle

市场上有许多重要的编程语言可供选择，数据分析师使用其日常任务和职责中的很多。但是，如果有人要先学习，那就是Python。 Python语言被誉为用户友好型以及直观性。此外，它拥有众多的功能，这使它能够处理数据争夺。 70小时的培训通过展示如何下载，提取，清理，汇总，分析和可视化数据，开始了编程教育。

3.大数据和分析主工具包

数据分析师和高级分析咨询人员使用大量的语言和工具来获取角色，这并不足为奇。这四个模块集合为数据库添加了四个重要的分析工具，即Minitab，SPSS，SAS和R Studio。

4.使用Tableau Desktop 9 Bundle进行数据可视化

通过交互式仪表板分析和呈现数据以完全挖掘信息的主要工具之一是Tableau 9.这个收集将使您了解Tableau。因此，可以开始创建自己的可视化数据。

5.完整介绍R编程包

R的核心是一种统计编程语言，它非常适合挖掘和分析数据。但是，它也具有高级图形和机器学习功能，在数据可视化和集成复杂算法方面提供了一些独特的优势。在五门课程和三本电子书中，收集指导通过要点使用R来充分发挥潜力。

大数据优势

大数据应用程序可让数据科学家，统计人员和其他分析专业人员分析越来越多的结构化数据以及其他形式的数据，而这些数据往往不被传统的商业情报和分析程序所利用。这涵盖了非结构化和半结构化数据的组合，例如互联网点击流数据，网络服务器日志以及来自客户电子邮件的文本，机器数据，社交媒体内容和通过连接的传感器到事物互联网的呼叫细节记录。

在更大的范围内，数据分析技术迎合数据集分析的手段，并最终帮助企业做出充分知情的决策。商业智能查询回答关于业务绩效和操作的基本查询。大数据是一种高级分析，涉及复杂的应用程序元素，如预测模型，统计算法等。

用数据咨询创造新的增长机会

数据分析可以创造大量新的增长机会。此外，它甚至可能会产生一个新的业务类别，例如分析和汇总行业数据的类别。大多数企业将处于大量关于服务和产品，供应商和买家，消费者偏好和意图以及更多信息流的信息中。

各行各业的企业都应该开始大力创造数据功能。除了广泛的数据外，数据的高频率和实时性也是至关重要的。通过数据分析，实践被更广泛地使用。

今天的大数据和分析应用市场真是巨大。世界各地的软件开发服务提供商提供了大量的数据咨询工作。现在，大数据体验意味着更有可能从软件开发组织获得有利可图的工作。市场很大，有一系列的项目，交易，服务和合作关系。咨询服务可能会有所不同，具体取决于组织的特定要求，以及需要利用数据分析和解决方案的功能，这些功能可以简化业务流程。