引言： 2017年6月17日，广州思迈特公司在北京举行Smartbi大数据分析技术年度峰会。思迈特公司CEO吴华夫先生亲临现场，携最新的Smartbi Insight V7版本分享数据分析新四化的最新成果，并演示人工智能和数据分析的”首次融合”。

Smartbi智能语音助手数据分析演示

下面分享具体演讲内容：

很感谢大家在周末休息的时候来参加Smartbi V7产品的发布会。

下面，我会介绍一下关于思迈特公司的情况、Smartbi Insight V7版本的新特性和功能。

公司简介

思迈特公司定位成一家大数据分析可视化和商业智能的产品提供商。我们知道数据是企业最重要的资产，要发挥它的价值，就需要使用数据分析，数据分析是企业的重要武器。思迈特软件Smartbi insight就是一个利器，能够有助于发掘企业数据资产的价值。

思迈特公司成立于2011年底，通过这几年的发展，我们在北上广、成都、西安、武汉都有技术支持和销售，希望为各个地方的用户提供更好的体验和服务。

客户介绍

下面介绍我们的客户，我们在金融、政府、企业、高校等领域都有很多的应用。

金融行业。我们的银行客户并不仅仅是项目级别的应用，而是总行、全行、全业务线级别的应用。比如中国银行，我们的产品应用在20多家分行。股份制银行比如说民生银行、光大银行也是我们的老客户。

保险有泰康人寿，PICC、太保、中英人寿、幸福人寿等；证券有中信证券、银河证券、中投证券等客户；另外还有基金、投资公司、金融公司、财务公司等。

政府领域。我们在卫生、税务、财政、工商、公安等政府领域都有比较广泛的应用。

企业客户。比如海航集团、中国电信、石化、南方电网等。

教育行业。我们做了部级、省厅级、以及一百多个大学的大数据分析系统。

Smartbi Insight V7产品重要特性

刚刚介绍了公司和客户的情况，现在我们介绍Smartbi Insight V7的重要特性。

技术架构

Smartbi Insight 是一个大数据中间件产品，定位为数据分析和数据可视化软件产品。

第一层是数据层。包含RDBMS、OLAP Server、MPP、 Hadoop数据库。

第二层是引擎层。目前包含四个引擎：

元数据引擎。它是把技术的数据转换成业务数据，基于它实现我们的自助多维分析。

数据查询分析引擎。包含多维数据库、关系数据库、以及其他扩展的查询。

分布式内存计算。主要功能有ETL数据处理、机器学习、跨数据库计算。

人工智能引擎。这个是我们新增的，在目前所有的国内大数据分析产品中人工智能引擎是我们首创并最先提出来的。

第三层是功能层。主要包含报表报告、数据可视化、数据探查和分析、移动协同决策和人工智能深度学习这五个方面，后面我们会详细介绍。的

第四层是行业产品。除了平台产品，我们还根据行业的应用提供大数据分析解决方案产品。主要包括银行自助分析云平台和高校大数据分析系统。

报表报告

企业报表

Spreadsheet（电子表格）是企业报表平台的解决方案专家，创新的基于Office Excel实现报表设计，满足各种格式的行业监管报表、内部管理报表的需求。包括：清单报表、交叉报表、分组报表、多源分片报表、分块报表、表单报表、图形报表、回写报表、假设分析报表、二次计算报表、套打报表、段落式报表、预警报表（Excel条件格式）、组合报表（智能评语）。

它包括三个特点：

1、 简单易用。电子表格使用Excel、WPS作为报表设计器，可以帮助用户在最熟悉的环境中很容易的获取广泛和丰富的资源去实现需求。

2、 功能强大。不仅支持一般业内的负责报表如交叉报表等，还支持市场上其他报表不具备的统计预测和规划求解，如支持使用Excel函数，包括财务函数、统计函数等。

3、 图表丰富。Excel报表、图形模板资源丰富，本身作图能力也非常强大，日本画家可以基于Excel可以做很多水墨画，甚至美女图。只要有想象力，就可以创造出非常丰富的图形出来。

在V7版本继续增强了报表的功能，主要体现在：

1、 照相机功能。通过照相机拍照功能可以把多个报表合并组合成新的页面，类似黑板报，从而使页面布局灵活、数据格式动态同步，并易于维护更新。

2、 功能增强。包括大清单表的性能优化和对填报审核流程的改进。

3、 增加动态图形。不仅支持Excel静态图形，还支持Echarts动态图形，使图形效果更佳动感，交互性更强。

分析报告

Office Word/PPT也可作为报告的开发工具，基于报表体系制作可刷新数据的报告模板，将数据从IT环节贯通到办公系统，提高报告的制作效率，使业务的工作重心回归问题的原因分析和解决方案设计上。

Smartbi支持使用Word和PowerPoint来开发报告，在开发过程完全可视化，无程序编码，开发的工具Office插件还支持检测更新，自动提醒升级；开发的报告不仅支持在浏览器、移动端上直接查看和一键刷新，还支持后台定时任务，发布报表到个人邮箱。

数据可视化

数据可视化是目前一个炙手可热的话题，我们产品也有自己的可视化特色。主要包括：

交互仪表盘

我们的交互仪表盘就是基于Web上实现的H5版本的水晶易表，和市面上其他的可视化工具不一样，我们是基于Excel的数据模型，利用Excel的计算能力，并通过绑定关系多维数据源来实现交互性强的页面出来。

交互仪表盘的设计更简单、交互性更强、计算能力更强。如下示例：

图一：参数控件、图表联动，在Excel中配置，几分钟即可实现。

图二：what-if分析的示例。它是基于数据模型，通过简单点击交互操作的方式来挖据数据之前的关联影响，从而找到经营指标之间的关系，让领导更容易做出决策。

对公司来说，增加研发费用投入，成本增加了，利润是会增加还是会减少呢？若研发的投入会使产品的竞争力更强，则会有更多的收入。对于这样一个测算的过程，我们只需要通过简单的点击，基于底层的数据模型，就会很容易看出增加的经费对净利润、产品销售量、成本、收入等指标的关联关系的影响。

数据大屏幕

数据大屏幕适用于大型的管理机构，信息量高度集中，相比仪表盘来说弱化交互性，强化炫酷的展示效果。 Smartbi Insight支持非常灵活的布局、样式和图形效果，并且设计、上线速度极快，远超各种开发技术实现的大屏幕！

图形可视化

我们现在有两套图形引擎：静态图形引擎和动态图形引擎。除了内置的两套图形引擎，还支持扩展接口，第三方图形引擎很容易接到我们产品中来。

*动态图形。Smartbi Insight提供丰富的ECharts图形可视化选择，包括散点图、、南丁格尔玫瑰图、油量图、散点图、气泡图、雷达图、关系图、热力图、词云图等等。

*静态图形。通过电子表格（Excel）作图时可使用Excel完成更为复杂的图形设计，如：甘特图、山形图、手风琴图、子弹图、小又多图等等。以及对表格设置条件格式（数据条、色阶、图标集）。

地图分析

地图分析将企业经营数据在地图上进行可视化呈现，形成企业经营的地理导航仪，通过点击、下钻以及图表联动等方式，进行数据分析和展示。

直接支持迁徙地图、航线图、百度地图、热力地图、散点地图、地产密度图等等。地产密度图是和ArcGIS更专业的GIS系统结合，我们产品本身也内置GIS引擎，可以支持各种各样的地图分析。

数据探索和分析

我们在数据自助分析包含两个方面：查询数据和分析数据。这个功能尤其应用在金融电信行业。目前，我们有专门的自助分析云平台的解决方案。

自助查询

自助查询是指用户通过鼠标简单的勾选拖拽就可以找到关心的指标和字段，很轻松在上亿的数据中进行明细查询。这个功能的应用经验是从银行中积累的，因此我们在大数据支撑方面做过很多优化，是经过实践检验的，性能上相对于其他产品是有优势的。

多维分析

企业用户都希望对业务、管理数据进行多维度分析，Smartbi Insight充分满足此类OLAP需求，无论客户的数据环境为多维数据库还是关系数据库，都可以提供相应的功能。

*若使用关系数据库，则无须建模。支持自由钻取、切片、同环比、分组、计算字段、预警、图表联动等。

*若使用多维数据库，可使用Analysis功能，同样可以完成切片、钻取、同环比等功能。

移动协同

移动应用

移动应用让企业员工可以随时随地通过手机、平板查看和分析数据。丰富的图形让数据展现栩栩如生，离线下载随身携带数据，手写批注让信息分享、决策讨论更加轻松。

我们的移动应用开发简单、功能强大，特点如下：

android、iOS的手机、平板都支持

一键发布、支持批注与分享（到社交软件）

集成能力：企业微信、OA及其它移动应用整合

安全性：设备安全管理，通讯加密，离线安全

协同决策

Smartbi产品的协同决策功能就类似一个私有的微信平台，把领导线下决策执行的过程转到线上。在这个平台上，你不仅可以随时发送报表报告、进行实时评论、分享工作，还可以交流讨论、组织在线会议等，让用户可以在Smartbi Insight中进行多人多团队决策、提高决策精准度。

数据源

Smartbi兼容支持各种数据源。我们支持关系数据库（包括Vertica等MPP数据库），多维数据库、大数据库。在V7版本上新增了华为、星环和Kylin等的支持。

系统集成

为了ISV能基于Smartbi平台产品更加方便的打造自己的大数据解决方案，我们对界面可视化配置、权限体系、集成等方面又做了更大的完善和改进，主要包括：

界面风格（LOGO）随意更换，不用重启服务器

J2EE架构、纯WEB方式、无需安装其他插件

用户集成（权限自主管理：资源权限、数据权限、操作权限）

报表集成支持外部链接或内嵌到其它系统中

运维可视化

作为一个大型系统，若有万以上级别的报表该如何管理呢？可以使用我们的运维可视化功能。界面操作，非常易用。

通过界面可视化的运维管理，使得：

运维管理能力更强。可以通过元数据引擎查看报表的关联关系，可以查看报表的访问情况。如看一张报表的访问次数，若少则可下线。

解决问题能力更强。当慢、卡各种情况发生，通过CPU监控、内存监控、网络监控等功能快速定位问题。

自动检测能力更强。系统支持定时提醒，支持自动检测优化，支持调整系统参数，能最好的满足用户的需求。

人工智能

随着大数据作为企业的资产，它的重要性毋庸置疑。我们提供很多方法让用户去查询分析数据，比如通过报表报告发给领导查看，通过大屏幕查看关键KPI指标，通过自助分析使业务人员简单的操作就能自助查询分析数据。的

但是，若是能通过语音语义来表达诉求，通过一个工具接受指令，直接把需要的数据传递给你，会对大数据分析方式产生很大的变革，会使更多的人受益于大数据，会更方便的挖掘大数据的价值。

因此，V7版本上我们发布了人工智能小麦的功能。她基于语音语义模型，通过深度学习的引擎，实现自然语言的理解，并支持用户使用偏好，从而实现数据查询和分析。目前，我们支持打开已有资源，切换参数；还支持自助探索分析。

这种人机交互的方式体现了AI和BI的结合。当然这只是迈开的第一步，我们未来的目标是通过自然语言，用户能轻松自由的利用大数据，不仅能了解现状、挖掘规律，更是预测未来。

互联网发展迅猛的今天，尤其是近十年来，大数据越来越多被人们提起与重视，它已经渗透到了各行各业之中。大数据无疑对企业发展起着不可替代的作用，收集、储存、分析大数据的能力也是企业软实力的体现。

商贸企业不管是在库存管理、销售管理或是财务管理环节中都需要收集数据以及分析数据，根据数据来为之后的营销制定科学合理的计划。因此企业的一些数据报表的统计与分析就显得尤其重要。

而传统企业在数据方面经常遇到如下问题：

企业各种数据报表需要人工编制，耗时费力还容易出错...

用Excel制表功能太少太简单...

库存、销售、财务等数据分析难，影响之后的业务开展...

传统单机进销存软件数据存储电脑硬盘，一旦硬件出问题，数据也将会损坏掉...

摒弃传统人工制表，告别传统单机进销存，使用SAAS进销存ERP系统，能够帮助企业解决上述难题：

系统内部自动生成各类报表，包括采购报表类、销售报表类、库存报表类、财务报表类等等一百五十多张精确细致的报表，大大提高员工效率，减少冗长的工作量，让企业数据的分析与决策变得更轻松；

另外SAAS进销存ERP系统内数据是上传到阿里云服务器储存，安全可靠，减少数据损坏。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

使用DataFocus中文自然语言数据分析系统时，可以经由用户的查询问题自动生成适合数据结构的可视化图表类型，但用户也可以将图表转化成自己需要的类型，我们整理了常用的一些数据图表对应的数据场景，帮助您在探索数据和展示数据时更加的直观丰满。

图表用来显示比较结果的方式大致为高度、大小、角度等。

1 经纬图

适用于有经纬度的数据集。DataFocus内置与百度地图的接口，只要建一张精准的定位信息数据集，上传之后会自动解析，准确定位到地址。百度地图是经纬度分布图，具体到乡镇街道分布都能看得清清楚楚，这是很多人都需要的地图类型，DataFocus地图功能就支持百度地图，可以将数据导入到地图里，得到自己最终需要的可视化报表。

优势：用地图来分析和展示与位置相关的数据，让人一目了然。

2 组合图

适用于一个属性列和两个数据列的三维数据结构。组合图，顾名思义，就是由两种（柱状图和折线图）的二维图表组合而成的图表形式，常用于展现同一变量的绝对值和相对值，而不适合制作其他图表类型的组合。

优势：特别通用，属于不同图表的组合使用，图表看起来简单直观。

3 仪表图

适用于一个属性列和一个数据列的二维数据结构。仪表图是为了关注单独一个指标的表现时使用，能给出指标的安全范围和警戒范围。例如将销售额分为三个区域，并分别以黄色、蓝色和红色来区分三个区域，其中黄色表示警戒区域。从下图可以看出东北、中南和西北地区的销售额在警戒区域内，需要引起重视。

优势：能给出指标的安全范围和警戒范围。

4 雷达图

适用于一个属性列和多个数据列的多维数据结构（四维及以上），但是每个维度必须可以排序，数据点一般6个左右，不能超过50个，太多的话辨别起来有困难。

优势：主要用来了解公司各项数据指标的变动情形及其好坏趋势。

5 树形图

适用于一个（或多个）属性列和一个数据列的数据结构。树形图，是用于展现有群组、层次关系的比例数据的一种分析工作，它通过矩形的面积、排列和颜色来显示复杂的数据关系，并具有群组、层级关系展现功能，能够直观体现同级之间的比较。

优势：适合用来展示构成项目较多的结构关系，如果它们还可以继续归纳分类的话，还可以展现分类之间的比例大小及层级关系。

6 词云图

适用于一个属性列和一个数据列的二维数据结构，属性列包含的属性值要尽可能多。

优势：显示词频，可以用来做一些用户画像、用户标签的工作。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

作者：冯大福

来源：说说数据分析那些事儿

大数据，这个被炒烂了的概念，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调它的技术，例如网络热词：hadoop+spark，data mining。而我们在用大数据时候，经常神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。

当然这些是我们的畅想，同时确实也离不开数据分析影响，但是我们有没有停下脚步去想一想，到底大数据怎么去落地呢，怎么去分析？怎么利用数据来去使企业做出决策，例如：广告投放精准化？

1

我们了解什么叫大数据分析吗？

麦肯锡给大数据定义：

“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”

基于我对以上定义的理解，我总结的大数据分析就是，将获取的数据打通、整合、找寻规律，立即得出决策信息。

数据获取

我总结的数据源可分类三类：

（1）一方数据：用户事实数据

例如用户在某金融机构购买的理财产品，时间、哪个出单口、姓名、电话等，或者运营数据，例如某互联金融app，用户操作行为数据。

（2）二方数据：其实这部分叫做广告投放数据

例如，广告展示量，活动页点击量，广告来源等。也有公司将这部分数据作为第三方数据，因为有些广告监测公司会利用此数据和人群数据整合构建自己dmp这样的公司一般宣称为第三方公司，三方数据。

（3）三方数据：行业数据，也叫公开数据

例如行协的数据，或者互联网行为数据，例如某互联网公司用户在此网站的行为数据，或者嵌入sdk的app后我们能采集到的安装活跃列表，以及可采集到线下数据。

打通：其实就是利用关键点的采集整合一二三方数据。例如我们可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将二方、三方数据整合。但是由于现在监管制度对手机号敏感数据的控制，以及互联网和移动端数据的跨平台打通技术难点，我们现实的匹配率很低，例如一方和三方的数据匹配达到20%其实就算比较不错的情况，当然运营商数据除外。

找寻规律：目标就是数据清理，从非结构化数据变成结构化数据，以便统计，数据探索，找寻规律，形成数据分析报告观点。本文将会在第三部分阐述。

立即决策：将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。

为什么需要大数据分析？看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，似乎就是我们需要大数据分析的理由。

现在，大数据的分析通常采用的数据报表来反映企业运营状况，同时，对于热点，人群分析，我们看到的统计值，目标核心都是用数据分析报告提炼的观点来指导运营，那么问题来了，怎么用数据分析来指导数据决策呢？

2

数据分析的报告思路

（从移动端的角度进行切入）

基于我对数据分析的理解，我将数据报告会分成三大类：市场分析、运营分析、用户行为分析。

市场分析

由于市场分析一般而言是定性、定量分析，最近热播剧《我的前半生》贺函和唐晶的职业就是来去咨询公司的一般会以访谈、问卷调查来一份市场分析报告去告诉客户他们的市场占有量，消费者观点等。

这里，我们以移动互联网数据的市场分析为例，通常来说，数据源是公开数据，或者在第三方数据。正如我们所讲，将sdk嵌入开发者应用，就可以收集到安装以及使用列表，那么开发者使用的sdk越多，我们能收集的数据源也越多，这样就可以形成安装app排名，使用app排名，这里面所说的覆盖率、活跃率也是这个意思，例如：即此款应用安装量、使用量在整体金融类的安装量、使用量占比。

那么，这些市场分析的作用呢，一般而言，是对公司市场营销的总结，比如某金融公司kpi是为了获客，他们做了一系列营销，下个月排名我们可以查询到此款应用的安装量，是否较上个月上升呢？ 那么我们的竞品表现呢，他们是不是也做了一些列的营销活动排名上升下降？我们都可以通过市场分析、竞品分析来观测，但是这部分的观点由于是市场数据，我们只能通过大量的搜寻官网活动，或者互联网广告推测营销来推测是否竞争对手排名上升和这些营销活动有关。

同时，根据市场的走势图，我们能发现潜在的竞争对手，例如：我们能看出下图中的工商银行由于手机属于高覆盖高活跃组，即安装xxapp活跃人群也是最高的，因此，无疑xx银行是所有银行组潜在竞争对手。需要更加注意他们的市场策略。

运营分析

移动互联网提出的方法论：3A3R，笔者之前在做咨询的时候，此方法论也可以将网站分析套用，总结来说3A3R就是：

感知 → 获取 → 活跃 → 获取 → 营收 → 传播 → 感知

这里需要注明下，运营分析只是一个公司的baseline，让产品经理、运营人员、市场人员根据自己本公司的数据参考做出合理的决定，同时，运营的数据只是参考或者叫警示，若要具体，需要特定细节的分析，例如是否app改版，怎么改？需要增加哪家渠道合作？

（1）Awareness 感知

根据广告投放数据进行分析，目的判断渠道广告页对app 或者网站引流情况，同时可以帮助广告主设计监测表格，以数字角度衡量广告投放效果。

但是，广告数据一般而言在广告监测公司手中，或者公开的使用工具上例如GA，我们需要依靠广告公司设计营销环节，例如活动页，加监测代码，或者在媒体、app应用商店加入代码便于监测广告表现，而往往这样的数据很难加载，一般是由应用商店，或者媒体提供，同时，以上数据，监测公司数据一般而言也不会提供给广告主，只是会提供统计值。

言归正传，我们看感知数据其实目的就是想衡量我们的大量的营销投放钱花的对不对，广告的展示量、点击量等是最好衡量一个公司的广告市场部门绩效，没有广告投放，就无法带来获客，因此钱花的值不值，能带来多少客人，才会有下一步 acquisition。

（2）Acquisition 获客

获客是第一步广告投放拓展，用户点击广告后到达应用商店或者着陆页后去下载app，访问网页后，登陆app后的数据是广告公司或者应用商店提供不了的数据，因此获客其实有两重目的。

目的1： 衡量第一步提供的数据是否准确，即是否渠道作弊

目的2： 判断渠道是否好坏

目的3： 判断营销活动是否有效

例如下图中，我们发现4成用户是搜索流量较上个月增加了6%，是不是我们需要增加和sem的合作呢？而在媒体引荐渠道中，我们通过渠道衡量客户转化率，点击-用户激活的，激活的注册转化，可否重点对某应用商店增加合作。

下图是目的3的应用，来衡量三个月内的新增用户，活跃用户是否受活动营销、广告投放、版本更迭等影响。例如：7月28日的版本更迭，增加新用户的利器，那么产品经理需要分析下这个版本到底哪里的改变，让用户增长这么快，而8月份的营销活动会唤醒沉睡用户，反应考核运营人员的绩效，那么，是否我们在做促活时候可以借鉴8月的成功经验呢？而这个成功经验需要进一步做专题分析。

（3）Activities 活跃

获客后，我们想看看我们的新增、活跃用户的表现情况，那么就到了第三步 活跃，其实就是为产品经理改版app或者页面提供数据支持。

活跃分析可参考以下三个步骤：

第一：从页面浏览次数，独立访问人数，来圈定主要页面分析。

例如某款app首页是pv，uv最高，我们会重点分析首页。

第二：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

第三：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

（4）Retention留存分析& Revenue & Refer

这几个实际上在企业运用的并不多，这里简要说明下。

① Retention

用户积累到一定数量后，我们想看下用户粘性，那么我们就来到retention，一般是衡量活动效果时候运用的比较多，来看此次活动过后，是否用户依旧会使用我们的app，但是由于金融app属性不会像游戏应用每天进行访问，因此Retention 在实际应用中不会太多，下面的例子是个展示，不做赘述。

② Revenue

这些留下来的客户给公司贡献多少现金呢？会看收入步骤， 一般公司不会将现金流数据放入在统计平台中，但是我们需要提出用户贡献的流水金额数据供我们使用，便于人群划分，例如下面简要分析：

Refer 传播：

最后，我们想让这些客户进行传播；核心是口碑营销，即用户自发的转发给其他用户链接，让他们下载app或者参与活动，因此传播的下一个环节又会转换营销，但是传播会受到很多限制，例如没有奖励机制的口碑传播，几乎转发量为0，同时，传播若要衡量比较困难，尤其在大量互联网用户基础上，这样会造成资源代码叠加，系统负担，因此一般企业也不会设计这样活动让营销人员参考。

用户分析

若说大数据分析的核心，其实就是在于用户分析，正如我们前面所讲，用户分析的步骤流程如下：

即在力所能及的搜集数据范围内，打通数据，客户用户，精准营销。

第一，我们可以筛选的条件列表，我们可以通过应用条件，位置，标签条件将数据整合，整合的目的就是刻画客户，定出营销策略。

例如：我们想筛选金融客户（应用条件筛选），出现在五星级酒店（位置条件），且为母婴人群（标签）。

但是需要注意的是，条件越多，用户轮廓越清晰，人群会越少。

第二，根据筛选的人群，我们将线上/线上统计化，或者建模多维度分析。

例如，我们根据筛选的人群，发现男性多于女性，苹果手机属性最高，常手机工具使用，那么我们可以将这部分目标人群用增加手机工具合作，或者和苹果合作获客或者促活。

第三，整合以上数据分析，形成人群画像。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

我们正处在互联网高速发展的阶段，快节奏的今天，越来越多企业需要的是能够为其带来直接价值的东西，往往会忽略数据和报告给企业带来的实际价值。事实上一份有效的大数据分析报告能够对企业产生很大的价值。

大数据分析报告的价值

1. 了解客户

大数据可以把我们的触角深入到某个社区、某类人群、某种具体的产品，来了解他们的真实情况；

2. 了解自身

大数据不仅是面向客户，同样也能面向企业自己。自身的产品生产流程、产品特点的定位、产品布局，这些都可以借助大数据进行更好地调整。也许只是将两个步骤调换顺序，可最后的效果却是天翻地覆。

3. 做好运营

大数据在广告运营方面有着十分强大的作用。通过大数据的相关性分析，根据不同品牌市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、区位选择、战略规划方面将做到更有把握地面对。

4. 开展服务

企业可以借助社交媒体中公开的海量数据，通过大数据信息交叉验证技术、分析数据内容之间的关联度等，进而面向社会化用户开展精细化服务，提供更多便利、产生更大价值。

也就是说，真正有价值的大数据分析报告能够在中宏观规划、微观/细分市场分析、方案执行和策略部署等方方面面为企业带来价值。

那么大数据报告怎么做？

1. 要有一个好的框架

跟盖房子一样，好的分析肯定是有基础有层次，有基础坚实，并且层次明了才能让阅读者一目了然，架构清晰、主次分明才能让别人容易读懂，这样才让人有读下去的欲望。

2. 数据获取

有了具体的问题，你就需要获取相关的数据了。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。好的分析一定要基于可靠的数据源。在正确的数据基础上做分析，才能找到正确的结论。

其次，就是对数据采集的对象、过程和处理方法进行评估，看数据是否具有时效性、代表性。

3. 数据预处理

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据分析，或分析结果差强人意。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。把这些影响分析的数据处理好，才能获得更加精确地分析结果。

4. 数据分析

在数据分析前，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

5. 分析报告

这时候展现出了数据分析师的表达能力，如何深入浅出的讲述自己的报表，是自己数据分析是否落地的核心。

在企业中，数据分析师的角色十分重要。没有数据指引的企业犹如没头苍蝇到处乱飞。

如何成为一名数据分析师？

上海数据分析网当前我国数据分析师由中国商业联合会数据分析专业委员会以及工信部教育考试中心共同考核认证。通过培训考核，工信部教育考试中心颁发《数据分析师职业技术证书》，数据分析行业协会颁发《数据分析师证书》，此证书是申请成立数据分析事务所的必备条件之一。

CPDA至今已走过14个年头，目前，全国已培养两万多名持证人员，分别在专业事务所以及数据分析相关行业工作，待遇丰厚，前景明朗。

数据分析师课程架构

课程特色

线上-线下相结合的教学方式

CPDA数据分析师培训采用面授课程加远程学习相结合的方式。面授课程主要侧重于实际应用，集中利用每周六、日上课，共计8天48课时，采用案例教学、互动教学、头脑风暴、深度讨论相结合和方式全面讲解数据分析知识。

远程学习为一年期的网络辅助教学，包括课前知识准备、课堂学习课件、模拟考题、在线答疑及案例实解等内容。

强大师资团队

作为由中国商业联合会数据分析专业委员会、工业和信息化部教育与考试中心在上海唯一的授权管理中心，秉承着对每一位学员负责的态度，我们聘请了专业的数据分析教师团队，带你挖掘数据深处的秘密，大数据大有可为！

最权威的认证

一年四次认证考试，通过后颁发双项认证：

1、中国商业联合会数据分析专业委员会颁发《数据分析师证书》，是将来进入数据分析师事务所工作的前提，唯一的行业从业证书。

2、工业和信息化部教育与考试中心颁发《数据分析师职业技术证书》，在工信部官网可直接查询。

课程体系

第七次课改后采用全新教材，课程内容涉及到数据分析基础、市场营销、战略管理及供应链管理等多方面知识。为此，我们推出了新型课程体系！