大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

为什么数据分析思维重要

如果我们在分析一个问题前，思维缺失就像下面图中所表达的一样，往往不知道问题从哪里下手，在这个时候就轮到平时锻炼的数据分析思维了。

核心数据分析思维

结构化

可以看作金字塔思维，把待分析问题按不同方向去分类，然后不断拆分细化，能全方位的思考问题，一般是先把所有能想到的一些论点先写出来，然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。

案例现在有一个线下销售的产品。我们发现8月的销售额度下降，和去年同比下降了20%。我想先观察时间趋势下的波动，看是突然暴跌还是逐渐下降。再按照不同地区的数据看一下差异，有没有地区性的因素影响。我也准备问几个销售员，看一下现在的市场环境怎么样，听说有几家竞争对手也缩水了，是不是这个原因。客户访谈也要做，但是往常一直找不出原因，这次我也不抱希望，姑且试试吧。要是还找不出原因，那我也很绝望啊。

公式化

在结构化的基础上，这些论点往往会存在一些数量关系，使其能进行＋、－、×、÷的计算，将这些论点进行量化分析，从而验证论点。

业务化

业务化即是深入了解业务情况，结合该项目的具体业务进行分析，并且能让分析结果进行落地执行。用结构化思考＋公式化拆解得出的最终分析论点再很多时候表示的是一种现象，不能体现产生结果的原因。所以需要继续去用业务思维去思考，站在业务人员或分析对象的角度思考问题，深究出现这种现象的原因或者通过数据推动业务。

增加业务思维方法：贴近业务，换位思考，积累经验

数据分析的思维技巧

在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的。7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法，对比法，漏斗法。

象限法

通过对两种维度的划分，运用坐标的方式表达出想要的价值，由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，广泛应用于战略分析，产品分析，市场分析，客户管理，用户管理，商品管理等。

下图是RFM模型，把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。

菜品销售增长率和销售利润

多维法

多维法是指对分析对象从多个维度去分析，这里一般是三个维度，每个维度有不同数据分类，这样代表总数据的大正方体就被分割成一个个小方块，落在同一个小方块的数据拥有同样的属性，这样可以通过对比小方块内的数据进行分析。如图，这是一个快餐店的外卖订单多维表：

虽然只有下单时间、菜品名称、平台三个维度。但根据这个立方体，已经能解决很多掌柜急需了解的问题了。

我们可以通过切片实现每个平台每种菜品的销量，每个月每种菜品的销量，某个月某平台菜品销售情况等等操作。

假设法

在一些情况下，如进入新市场的销量、商品提价后销量的变化情况，可能没有明细数据进行分析，那么就需要用到假设法。假设法也就是假设一个变量或者比率成立，然后根据部分数据进行反推，这是一种启发思维的技巧，一般过程是先假设后验证然后判断出分析结果。

例题：你是自营电商分析师，现在想将商品提价，你分析下销售额会有怎样的变化？解答思路：首先可以确定销量会下降，那么下降多少？这里就要假设商品流量情况，提价后转化率的变化情况，然后根据历史数据汇总出销量下降百分百，从而得出销售额的变化情况。

指数法

指数法是把某个数据多个指标按一定的计算转化为同度量的一个值，这个度量值称为指数。例如在一场游戏竞技比赛中要确定该场的MVP，则是需要根据击杀数、死亡数、助攻数、经济、补兵等指标进行综合计算出一个得分，得分高的为MVP。

指数法常用的有线性加权、反比例、log三种。线性加权即是把每个指标乘以一个系数后相加，反比例即是用数学上的反比例函数y=k/x变化后在计算，log即是数学中所说的对数一般以2为底数或者10为底数。指数法使用没有统一标准，一般是根据经验来做，将无法利用的数据加工成可以可利用的。例如，NBA计算最有价值球员的指数参考：

二八法

二八法即是二八法则也可以叫做帕累托法则，比如在个人财富上可以说世界上20%的人掌握80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

对比法

对比法就是用两组或两组以上的数据进行比较，常见的是用于在时间维度上的同比和环比、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用非常频繁，多与前面的技巧结合使用。

漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。不过，单一的漏斗分析是没有用的，不能得出什么结果，要与其它相结合，如与历史数据的对比等。

下图我用BI商业智能工具FineBI连接了CRM系统的数据，对客户的行为数据做了漏斗图形式的展现。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

随着企业发展规模的不断壮大，在激烈的市场竞争环境下，要想取得辉煌的业绩和高速的发展，取决于领导层的决策。然而，在这竞争与机遇并存的数字信息化时代下，传统意义上的管理分析和决策手段发生了微妙的变化，已经不能再靠旧的思维模式去做决策。因此，新的决策手段就是当下人们常说的“用数据说话”。

很多企业在经营的各个环节中都会产生大量的数据，而对这些数据深层挖掘所产生的数据分析报告，及如何做好数据分析工作，对企业的运营及策略调整起着至关重要的作用。

数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

然而对于制造企业来说，生产现场的数据就属于第一手资料，因为只有了解了生产线的详细产能数据，才能在接单的时候了解月度负荷，初步安排设备和人员的排班计划，并且在接下来的生产排程中，进行精细的排产计划。否则，如果连一条产线每个班能生产多少产品都不知道，如何实现精细排产呢？而现场的数据如不良品信息及相关的产品数据等能否实时采集到，是当前企业面临的一个大难题，如何实现高效率、简洁、实时的数据采集，是当前制造业急需解决的问题。

MES系统中，数据采集是至关重要的，它保证了信息集成化的实施。MES系统与上层ERP企业资源规划和底层PCS过程控制系统一起构成企业的神经系统，一是把业务计划指令传达到生产现场，二是将生产现场的信息及时收集、上传和处理。MES不单是面向生产现场的系统，而是作为上、下两个层次之间双方信息的传递系统，连结现场层和经营层，通过实时数据库传输基本信息系统的理论数据和工厂的实际数据，并提供企业计划系统与过程控制系统之间的通信功能，是应用于企业的重要信息系统。

MES中的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。要开展好车间数据分析工作，首先就要明确各相关部门的职责，把生产车间的信息收集、统计分析工作作为一个“过程”进行管理，以此推动整个管理体系的持续改进。

编辑：Nistone乐石科技

CDA数据分析师原创作品

马云在2018年云栖大会上提到：“按需制造的核心是数据，数据是制造业必不可少的生产资料，以前制造业发展好不好是看电力指数，未来我们看数据”。

有前瞻眼光的企业家早已把数据看作重要的资产，抢占未来市场的利器。如何挖掘数据这座“大金矿”已经成为很多企业的重要任务，而其中充当这座“大金矿”矿工的首要职业就是——数据分析师。

那么，数据分析在一个企业中起到哪些关键性作用呢？我们可以通过分析招聘网站中数据分析岗位的“岗位职责”信息来得到一些我们想要的答案。

CDA数据分析研究院于2018年9月爬取某知名招聘网站中以“数据分析”为关键字的招聘信息。经过数据清洗之后，我们对剩下的5298条招聘信息进行分析。

我们发现，数据分析在不同的企业所起到的作用大小会有所不同：

从上图可见，当前数据分析主要在互联网/电子商务、计算机软件、IT服务这三个行业起作用，这些行业对数据分析的招聘需求占了就业市场的60%以上。接下来我们也会对这些行业进行重点分析。

我们对所有行业的“岗位职责”信息生成词云图：

通过对高频词汇的分析，CDA数据分析师总结出数据分析在企业中所起作用的主要几个方面：

1、市场营销方面：

（1）精准寻找目标用户

利用数据挖掘技术，发现用户特征，构建用户画像，预测用户行为，对用户进行合理分群，用户偏好预测、用户个性化推荐等。

（2）用户行为研究

用户行为分析研究，针对用户的多维度属性、标签和行为数据，用户流失预警、用户生命周期分析、用户影响力分析、用户价值分析等相关用户行为研究。

（3）行业竞争品和行情监控

监测并分析行业竞品情况，收集并解读相关用户和市场研究报告，为公司产品规划提供支持。

2、运营管理方面：

（1）提供最新运营情况

对日报、周报、月报等日常报告和数据的制作与维护，即使反馈最新的运营情况。

（2）为运营管理提供决策支持

基于公司业务的运营情况展开深入分析，提出运营业务发展策略建议。

（3）监控运营活动效能

监控、分析运营活动，评估运营活动效能，提出营销活动优化和成本控制解决方案，并主导或协助落实。

（4）团队绩效考核

针对运营团队整体KPI考核及情况制定对应绩效考核方案并跟踪绩效考核实施。

如果我们对互联网/电子商务的数据分析岗位职责描述作词云分析（上图），会发现互联网/电子商务行业对数据分析在市场营销和运营方面的作用尤为重视。

3、产品研发方面

（1）产品优化支持

对相关业务线产品进行用户分析，营收分析，行为分析、活动效果评估等，产出相应报告，为产品优化和业务运营提供支持。

（2）新产品研发支持

根据已有数据为新产品的开发提供决策依据和方向，实现业务所需的数据分析、数据产品设计。

4、大数据平台支持方面

对于数据量容易达到海量级别的行业，比如金融行业（基金、证券、期货、投资），或者是提供数据服务的IT企业，往往会有大数据平台搭建和维护等需求。

我们通过下面两个行业的词云图可以看出，词云里面有大量大数据平台和工具的高频词汇，比如Hadoop、Spark、Hbase、Hive等。

我们可以从中归纳出数据分析在这方面工作所起到的作用：

（1）对公司Hadoop/Hive/Spark等大数据基础设施的研发与运维，提升运行效率、稳定性和可用性；

（2）大数据项目的数据挖掘和建模，并对实现BI分析、数据产品开发、算法开发提供系统性支持；

除了上面提及的作用，数据分析在不同的行业也会起到其他不同的作用。比如在教育行业可能还会需要数据分析师发表学术论文或专利，或者科研成果转换等。物流企业会需要数据分析师对仓储效率、成本、库存等方面分析挖掘。互联网金融企业会对反欺诈信用风控系统、策略、模型开发有更多的需求。

总的来讲，有数据产生的行业就需要数据分析岗位，以数据驱动的产品和经营活动更需要数据分析师。数据分析师在不同行业、不同职能部门，其所起到的作用也会有所不同。但是在DT时代，能更好发挥数据分析作用的企业必定能抢占到发展先机。

前篇说过在SEO工作中始终伴随的是数据分析，说到SEO中的数据分析那日志分析一定是重中之重，怎么强调都不为过。

今天列一个问题，也是新手们常常问的，问题叫：我的网站某个栏目为什么某某搜索引擎不收录？那我们就从这个不收录说起！

其实，大部分问题都能从日志分析中找到解决办法，首先我们从网站日志中可以分析出网站是否有搜索引擎抓取 、哪个搜索引擎抓取、抓取数量、页面/栏目抓取次数、抓取频率/时间、URL/返回状态码，那么你会问这些数据对SEO有什么用呢？

首先：搜索引擎是否抓取以及哪个搜索引擎简单解说，搜索引擎一直不抓取就不用想收录了，肯定没有，那么就去提交连接，现在百度放开这么多口子，收录其实已经很容易了，比如提交连接，抓取诊断，主动推送，sitemap提交等等都是不错的。

第二：某个栏目不收录，分析日志发现该栏目无抓取/抓取少，那么你可以从那些抓取多的栏目导入一些连接给该栏目，另外搜索抓取频率/时间可以很好的反应出你网站内容更新数量及质量，至于怎么做看你自己咯。

第三：URL/状态码，你辛苦更新好久不收录，然后看看日志发现抓取的都是错误URL，是不是要吐血？或者你发现你网站中很多抓取都是404页面是不是要再吐一口？

综上所述，SEO工作中日志分析非常重要，如果你是新手那么赶紧学习一下，跳槽的时候都能吹吹牛逼不是？

分享一些SEO日志分析中常用的shell语句：

//统计不重复抓取数量

cat baidu.log | awk '{print $4}'|sort|uniq|wc -l

//统计所有状态码数量

awk '{print $10}' baidu.log |sort|uniq -c

//统计某个目录抓取次数

grep "/shop" baidu.log | awk '{print $4}' |sort |wc –l

//统计404页面的抓取数量

awk '{if($10=="404"){print $0}}' baidu.log|sort|uniq|wc -l

//统计每个ip下对应URL的抓取次数

awk '{print $6,$4}' baidu.log |sort|uniq –c

//提取百度蜘蛛访问数量前10的网站目录及访问次数，并降序排列

awk '{print $4}' baidu.log |grep -P "[^/(a-zA-Z)|^/(a-zA-Z)/]"|awk -F"/" '{print $2}'|sort|uniq -c|sort -r|head -10

//提取某个目录百度蛛蛛访问次数

cat baidu.log | grep “/shop/”| wc –l

cat baidu.log |awk ‘{print $4}’ |grep “/shop/” |wc –l

cat baidu.log |awk ‘{print $4} |awk –F”/” ‘{print $2}’|grep “shop”|wc -l

//统计首页抓取的次数占总体抓取次数比率

cat baidu.log |awk '{print $4}'|awk '{if($0=="/"){n=n+1}}END{print n/NR*100"%"}

我是尔东，一个不太合格的SEO从业者，老铁们码字不易，动动手指收藏转发+关注，感谢！

21世纪是世界经济发展的时代，是科学力量加强的时代。在这个科技飞速发展的时代里，几乎每天都会有全新的概念提出。自从2016年底马云提出了新零售这个理念以后，国内的各行各业、特别是电商与实体店主们都绞尽脑汁想将其给研究透彻了，各大网站和媒体也纷纷发布了不同人士对新零售的分析。如何做到新零售的转变，在一段时间便成为了经营者和运营公司们最关心的事情。

当你仔细研究过新零售的概念和特征后不难发现，它其实是对以往零售中不足或鸡肋进行整改并升级的一种“加强版”。对于消费者：提高体验感；对于经营者：提升用户流量、精准营销……这都是关注新零售时最在意的几点要素。

国际商业机器公司（IBM）提出大数据拥有：大量、高速、多样、低价值密度、真实性的特点。而在2012年出版的《大数据时代》中也提出：大数据是指不利用抽样调查这种捷径，而选择使用所有数据分析处理。

大数据的重要意义不在于掌握了多少数量庞大的信息，而在于对这些信息数据的处理。从它的这种特点来分析便不难得知它在新零售中起到了什么关键性的作用。

进行营销的过程中需要调动大数据库内的用户信息，并进行技术分析，得出他们现在需要什么，甚至还可以得出日后可能需要什么样的消费。比如：一个用户购买了大量的婴儿衣物，便可由数据得出他家有新生儿，并且分析接下来还很有可能需要婴儿的奶粉，便可以通过这些数据分析给他推荐相关商品。若要通俗点来说的话便是和“猜你喜欢”非常相似了。

想要真正做到新零售，大数据是不可或缺的一项技术支持。但很多平台不是无法保证数据的数量或精准性就是对这些数据的独享，这导致经营者们无法从根本上解决对大数据的需求，而且在进行针对性宣传的时候无法达到理想的效果。

但团卖物联却将大数据沉淀在商圈，让商圈能够自主调动信息库中所需的信息，让这些信息能够真正的功能最大化。这都是为了让合作店家能够享受在大数据支持下的新零售带来的好处。

我觉得无论什么工作兴趣最重要，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他会觉得不耐烦，那么显然他不适合做数据分析;如果对数据较敏感，能够一眼发现异常值，数据分布情况，当然是最好的。

再则就是逻辑性，可以让他试试爱因斯坦的那道经典的逻辑题，看看能否解出来，需要多久;逻辑思维对数据分析尤其重要，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加高效。

接着是业务理解能力，最简单的就是让他定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。(宏观层面，不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

——谷芬芬

专业内的要求基本就是对数据的意识和一些技能的掌握。下面具体说说从一些非专业内要求的方面出发，有哪些方面能表现这个人更适合数据分析。

首先是看到数据有兴奋感的人。有兴奋感说明你有兴趣，那说明很会有意愿把数据分析好。

其次是愿意学习的人。你分析的内容永远不会一尘不变，即使你分析的主题是相对固定，但业务是变化的，你需要不断的学习业务，同不同人沟通，吸收别人的观点。所以分析师一定要报着学习的态度。

然后是逻辑思维较强的人。数据分析师想要把你的分析好，一定要有结论思维。

还有就是较强的表达与沟通能力。因为数据分析最终价值的实现，一般来说不会是分析师亲自去制定或者实施。所以你一定很有条理、逻辑清晰向别人表达，让业务方认识到你分析结果的价值，从而影响业务方去愿意使用你从数据中得到的观点。

——欧阳帅

觉得还是应该先看清楚自己的未来的方向吧~

我有不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向，数据相关，非技术路线，更偏向于市场方向，对技术的要求只是Excel、PPT，最多要求SPSS，很少要求会写SQL。这条路线看起来比较高大上，可以走外企路线。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。中间有2个分叉，一条是从数据分析师到数据产品经理，这个路线最近很流行，主要是结合了数据分析和产品经理的能力。一条是高大上一点的数据挖掘方向，这条路线要求比较高，但薪资也高。当然能走数据挖掘路线是很多数据分析师的梦想，但算法和代码实现能力不是谁都能掌握的。.

根据你自己想走的路，加上自己的技能点。

——张锦华

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

对于一家店铺来说，智能数据分析其实包括很多方面的：销售分析、会员分析、产品分析，那么怎么做到让这些数据一目了然呢？下面小编就要为大家说说通过德客会员管理系统，是可以实现的。

销售统计分析

对于销售报表、退货报表、计次报表、充值报表、充次报表、每日对账单的数据都是一目了然的，还可以查看每个时间段的相关数据，导出相关数据的报表。

会员统计分析

从列表切换至统计图，一键搞定。在时间段内，可清晰查看散客与会员销售比重、销售笔数、销售额、销售毛利、每个会员的消费详情。

产品统计分析

在时间段内，商品销售笔数丶销售额丶销售毛利等直观显示，有利于您通过商品数据，对店铺商品销售方面做出切实调整；也可以导出相关数据的报表；还有产品类别分析，可以查看不同产品类别的销售详情。

围绕大数据分析，德客会员管理系统为经营管理者提供智能高效的分析数据。数据对于商家而言是一笔无形资产，利用好数据是实现精细化管理的基石，也是核心竞争力的基础。通过洞察数据背后的逻辑、规律和趋势，用数据来指导和决策商业经营管理。