编者按：在云计算大数据技术日趋成熟的当今，数据挖掘分析与商业智能应用的价值越来越被企业所理解。企业通过对关键业务数据、客户信息以及日志数据的挖掘分析，可进行精准的客户画像并分析客户属性，更准确地发现目标客户和更多的营销机会(市场客户分析、交叉营销等)，实现市场、渠道和产品的细分与创新，动态掌握复杂市场需求的变化，智能数据解决方案提升了市场竞争力。

说到智能数据解决方案供应商，去年刚刚获得6000万元融资的“袋鼠云”最近可谓是“动作频频”，不仅多名前阿里核心技术人员强势加盟，更有硅谷留洋“博士团”鼎力回归，让“袋鼠云”这一新锐品牌迅速被数据行业“特别关注”。

数据智能解决方案新锐品牌“袋鼠云”从数据资源规划及获取、数据质量分析及提升，到基于中台策略的数据整体建模以及数据的资产管理都有切实的解决方案，进一步帮助客户建立标签引擎的实体画像，从而帮助客户实施数据指标体系梳理计算（BI）和数据应用规划及实现(DI),最终用数据可视化大屏的形式呈现出来帮助实时决策。可以说“袋鼠云”的智能数据解决方案的产品线可谓“相当完整”。

“袋鼠云”产品线构建了统一负载的全量数据分析平台与方案，统一的在线实时存储、处理、分析工具，支持PB级海量数据处理，可随业务需求线性扩展，为客户实现“即时刻画、秒级呈现”的数据可视化大屏呈现方式。

记者采访中了解到，目前“袋鼠云”品牌在全产品线的智能数据分析解决方案中，日志大数据分析平台与数据可视化大屏即时呈现两大方面技术积累与产品优势十分明显。

EasyLog日志大数据分析平台—用日志解析为企业做体检

“我们将为客户从大量的数据日志项目中，根据客户业务现状清洗整理出切实可行的关键日志信息，做好日志数据挖掘和分析利用，充分在运维过程中给客户带来价值。” 袋鼠云在采访中给记者解释：“传统企业对于海量日志数据利用效能很低，而每次都靠IT人员查阅日志进行系统运维的方式既成本高昂而且运维稳定性很低，而采用了袋鼠云的日志大数据分析平台EasyLog就可以大大提升企业运维的效率，对于很多潜在的系统问题也能做到良好的预警。”

据介绍，目前袋鼠云日志大数据分析平台EasyLog主要部署在大中型互联网企业以及互联网金融行业，也有大型的金融机构、电信运营商等等，这些行业都非常重视日志大数据对于企业运维的作用。

同时袋鼠云日志大数据分析平台EasyLog也可帮助企业满足《中国网络安全法》日志归档要求、满足《公安部息系统安全等级保护》三级要求；

袋鼠云向记者进一步介绍：“目前企业针对日志大数据分析应用有几种方案，一种是基于开源应用的ELK方案,另一种就是类似袋鼠云提供的日志大数据分析平台。前者由于是开源应用，因此企业的前期开发与后期维护成本比较高，也面临无可预计的开发风险，而后者袋鼠云日志大数据分析平台更像是一个“拎包入住”并自配资深管家的成熟方案平台，让客户省去很多后顾之忧。”

而且在采访中记者了解到：“袋鼠云日志大数据分析平台，也有灵活的部署方式，既可以在客户方线下机房部署，也可以部署在云端服务，甚至针对小型企业袋鼠云还有SaaS版的轻量级产品，针对不同的客户可谓“面面俱到”。并且这样的金融级日志分析、AIOps平台，可用于故障定位、业务监控、安全审计等，袋鼠云日志有着可视化仪表盘、监控告警、数据脱敏、数据转发投递、多租户数据隔离等特色功能，可根据企业实际业务完成分析场景建设，以提升企业故障发现率、运维运营效率。

“目前著名的互联网银行品牌新网银行在旗下十余个核心系统中均采用了袋鼠云的日志大数据分析平台EasyLog，从而提升了各业务系统故障发现率，同时极大降低故障处理时间，也成为了成功的众多案例之一。”采访中记者了解到。

数据可视化实时大屏—实现企业数据化运营

而作为袋鼠云全产品线中另一个亮点的“数据可视化实时大屏”也是目前炙手可热的技术，数据产生价值这个大方向让最后呈现的环节中的数据实时分析产生价值，呈现一切价值数据可视化，最终帮助提升生产效率、促进产业变革，通过客户产业创新让数据价值最大化。

采访中记者了解到，袋鼠云数据可视化实时大屏目前主要服务的行业包括新零售、智能制造、智慧人社、以及业务快速增长的互联网创业公司等。

采访中记者了解到，新零售方面一直是袋鼠云的强项。一方面借助营销引擎帮助品牌商打通线上线下的用户数据，实现精准营销。围绕客户的发展与持续经营，统一管理线上营销渠道，打通全域数据，通过数据个性化线下门店服务体验等，使企业与客户之间可随时无阻碍的连接。这些数据与分析都以精准实时的形式呈现在客户的可视化大屏之上，让客户从容决策。

“要精准呈现数据可视化大屏的最佳效果，数据的实时性采集非常重要，袋鼠云实现了对TB级别甚至是PB级别数据的实时处理，实现秒级反馈是最基本的要求，这得益于袋鼠云的技术团队多数来自于阿里云，在实时数据计算处理与呈现方面有丰富的经验。”可视化大屏将企业实时数据即时呈现，比如电商平台的经营概况、用户画像等信息一目了然。

编后：目前袋鼠云的团队已经超过 150 人，80% 左右为技术人员。当下更多的资深技术专家，包括美国回来的人工智能博士和一批专注企业服务多年的行业专家都纷纷加盟袋鼠云，让数据产生价值。无论是数据可视化实时大屏Easy[V]或是日志大数据分析平台EasyLog，智能数据解决方案最终让更多的数据产生价值，让未来变成现在，袋鼠云这一朝气蓬勃的品牌团队正在朝向探索未来数据价值之路上越跑越快。

本文关注：日志大数据分析平台、数据可视化大屏、数据智能解决方案

转载或分享请注明来源标题《数据可视化大屏+日志大数据分析平台，数据智能解决方案改变世界》

阿里妹导读：随着数据量的快速增长，越来越多的企业迎来业务数据化时代，数据成为了最重要的生产资料和业务升级依据。本文由阿里AnalyticDB团队出品，近万字长文，首次深度解读阿里在海量数据实时分析领域的多项核心技术。

数字经济时代已经来临，希望能和业界同行共同探索，加速行业数字化升级，服务更多中小企业和消费者。

欢迎转发、收藏此文

挑战

随着数据量的快速增长，越来越多的企业迎来业务数据化时代，数据成为了最重要的生产资料和业务升级依据。伴随着业务对海量数据实时分析的需求越来越多，数据分析技术这两年也迎来了一些新的挑战和变革：

在线化和高可用，离线和在线的边界越来越模糊，一切数据皆服务化、一切分析皆在线化。高并发低延时，越来越多的数据系统直接服务终端客户，对系统的并发和处理延时提出了新的交互性挑战。混合负载， 一套实时分析系统既要支持数据加工处理，又要支持高并发低延时的交互式查询。融合分析， 随着对数据新的使用方式探索，需要解决结构化与非结构化数据融合场景下的数据检索和分析问题。

阿里巴巴最初通过单节点Oracle进行准实时分析, 后来转到Oracle RAC，随着业务的飞速发展, 集中式的Shared Storage架构需要快速转向分布式，迁移到了Greenplum，但不到一年时间便遇到扩展性和并发的严重瓶颈。为了迎接更大数据集、更高并发、更高可用、更实时的数据应用发展趋势，从2011年开始，在线分析这个技术领域，阿里实时数仓坚定的走上了自研之路。

分析型数据库AnalyticDB

AnalyticDB是阿里巴巴自主研发、唯一经过超大规模以及核心业务验证的PB级实时数据仓库。自2012年第一次在集团发布上线以来，至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、菜鸟、文娱、飞猪等众多在线分析业务。

AnalyticDB于2014年在阿里云开始正式对外输出，支撑行业既包括传统的大中型企业和政府机构，也包括众多的互联网公司，覆盖外部十几个行业。AnalyticDB承接着阿里巴巴广告营销、商家数据服务、菜鸟物流、盒马新零售等众多核心业务的高并发分析处理， 每年双十一上述众多实时分析业务高峰驱动着AnalyticDB不断的架构演进和技术创新。

经过这2年的演进和创新，AnalyticDB已经成长为兼容MySQL 5.x系列、并在此基础上增强支持ANSI SQL:2003的OLAP标准（如window function）的通用实时数仓，跻身为实时数仓领域极具行业竞争力的产品。近期，AnalyticDB成功入选了全球权威IT咨询机构Forrester发布"The Forrester Wave™: CloudData Warehouse,Q4 2018"研究报告的Contenders象限，以及Gartner发布的分析型数据管理平台报告 (Magic Quadrant forData Management Solutions for Analytics)，开始进入全球分析市场。AnalyticDB旨在帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。

整体架构

经过过去2年的架构演进和功能迭代，AnalyticDB当前整体架构如下图。

AnalyticDB是一个支持多租户的Cloud Native Realtime Data Warehouse平台，每个租户DB的资源隔离，每个DB都有相应独立的模块（图中的Front Node, Compute Node, Buffer Node），在处理实时写入和查询时，这些模块都是资源(CPU, Memory)使用密集型的服务，需要进行DB间隔离保证服务质量。同时从功能完整性和成本优化层面考虑，又有一系列集群级别服务（图中绿色部分模块）。

下面是对每个模块的具体描述：

DB级别服务组件：

Front Node：负责JDBC, ODBC协议层接入，认证和鉴权，SQL解析、重写；分区地址路由和版本管理；同时优化器，执行计划和MPP计算的调度模块也在Front Node。Compute Node： 包含MPP计算Worker模块，和存储模块（行列混存，元数据，索引）。Buffer Node： 负责实时写入，并根据实时数据大小触发索引构建和合并。

集群级别服务组件：

Management Console： 管理控制台。Admin Service：集群管控服务，负责计量计费，实例生命周期管理等商业化功能，同时提供OpenAPI和InnerAPI给Management Console和第三方调用。Global Meta Service：全局元数据管理，提供每个DB的元数据管理服务，同时提供分区分配，副本管理，版本管理，分布式DDL等能力。Job Service：作业服务，提供异步作业调度能力。异步作业包括索引构建、扩容、无缝升级、删库删表的后台异步数据清理等。Connector Service：数据源连接服务，负责外部各数据源（图中右侧部分）接入到AnalyticDB。目前该服务开发基本完成，即将上线提供云服务。Monitoring & Alerting Service：监控告警诊断服务，既提供面向内部人员的运维监控告警诊断平台，又作为数据源通过Management Console面向用户侧提供数据库监控服务。Resource Management Service：资源管理服务，负责集群级别和DB级别服务的创建、删除、DNS/SLB挂载/卸载、扩缩容、升降配，无缝升级、服务发现、服务健康检查与恢复。

数据模型

AnalyticDB中表组(Table Group)分为两类：事实表组和维度表组。

事实表组(Fact Table Group)，表组在AnalyticDB里是一个逻辑概念，用户可以将业务上关联性比较多的事实表放在同一个事实表组下，主要是为了方便客户做众多数据业务表的管理，同时还可以加速Co-location Join计算。维度表组(Dimension Table Group)，用于存放维度表，目前有且仅有一个，在数据库建立时会自动创建，维度表特征上是一种数据量较小但是需要和事实表进行潜在关联的表。

AnalyticDB中表分为事实表(Fact Table)和维度表(Dimension Table)。

事实表创建时至少要指定Hash分区列和相关分区信息，并且指定存放在一个表组中，同时支持List二级分区。

Hash Partition将数据按照分区列进行hash分区，hash分区被分布到多个Compute Node中。List Partition(如果指定List分区列的话)对一个hash分区进行再分区，一般按照时间(如每天一个list分区)。一个Hash Partition的所有List Partition默认存放于同一个Compute Node中。每个Hash Partition配有多个副本（通常为双副本），分布在不同的Compute Node中，做到高可用和高并发。

维度表可以和任意表组的任意表进行关联，并且创建时不需要配置分区信息，但是对单表数据量大小有所限制，并且需要消耗更多的存储资源，会被存储在每个属于该DB的Compute Node中。

下图描述了从Database到List分区到数据模型：

对于Compute Node 来说，事实表的每个List分区是一个物理存储单元（如果没有指定List分区列，可认为该Hash分区只有一个List分区）。一个分区物理存储单元采用行列混存模式，配合元数据和索引，提供高效查询。

海量数据

基于上述数据模型，AnalyticDB提供了单库PB级数据实时分析能力。以下是生产环境的真实数据：

阿里巴巴集团某营销应用单DB表数超过20000张云上某企业客户单DB数据量近3PB，单日分析查询次数超过1亿阿里巴巴集团内某单个AnalyticDB集群超过2000台节点规模云上某业务实时写入压力高达1000w TPS菜鸟网络某数据业务极度复杂分析场景，查询QPS 100+

导入导出

灵活的数据导入导出能力对一个实时数仓来说至关重要，AnalyticDB当前既支持通过阿里云数据传输服务DTS、DataWorks数据集成从各种外部数据源导入入库，同时也在不断完善自身的数据导入能力。整体导入导出能力如下图（其中导入部分数据源当前已支持，部分在开发中，即将发布）。

★ 数据导入

首先，由于AnalyticDB兼容MySQL5.x系列，支持通过MySQL JDBC方式把数据insert入库。为了获得最佳写入性能，AnalyticDB提供了Client SDK，实现分区聚合写的优化，相比通过JDBC单条insert，写入性能有10倍以上提升。对于应用端业务逻辑需要直接写入AnalyticDB的场景，推荐使用AnalyticDB Client SDK。

同时，对于快速上传本地结构化的文本文件，可以使用基于AnalyticDB Client SDK开发的Uploader工具。对于特别大的文件，可以拆分后使用uploader工具进行并行导入。

另外，对于OSS，MaxCompute这样的外部数据源，AnalyticDB通过分布式的Connector Service数据导入服务并发读取并写入到相应DB中。Connector Service还将支持订阅模式，从Kafka，MQ，RDS等动态数据源把数据导入到相应DB中。AnalyticDB对大数据生态的Logstash，Fluentd，Flume等日志收集端、ETL工具等通过相应插件支持，能够快速把数据写入相应DB。

今天在阿里巴巴集团内，每天有数万张表从MaxCompute导入到AnalyticDB中进行在线分析，其中大量导入任务单表数据大小在TB级、数据量近千亿。

★ 数据导出

AnalyticDB目前支持数据导出到OSS和MaxCompute，业务场景主要是把相应查询结果在外部存储进行保存归档，实现原理类似insert from select操作。insert from select是把查询结果写入到内部表，而导出操作则是写入外部存储, 通过改进实现机制，可以方便地支持更多的导出数据源。

核心技术

高性能SQL Parser

AnalyticDB经过数年的发展，语法解析器也经历了多次更新迭代。曾经使用过业界主流的 Antlr（http://antlr.org），JavaCC(https://javacc.org)等Parser生成器作为SQL 语法解析器，但是两者在长期、大规模、复杂查询场景下，Parser的性能、语法兼容、API设计等方面不满足要求，于是我们引入了自研的SQL Parser组件FastSQL。

★ 领先业界的Parser性能

AnalyticDB主打的场景是高并发、低延时的在线化分析，对SQL Parser性能要求很高，批量实时写入等场景要求更加苛刻。FastSQL通过多种技术优化提升Parser性能，例如：

快速对比：使用64位hash算法加速关键字匹配，使用fnv_1a_64 hash算法，在读取identifier的同时计算好hash值，并利用hash64低碰撞概率的特点，使用64位hash code直接比较，比常规Lexer先读取identifier，在查找SymbolTable速度更快。高性能的数值Parser：Java自带的Integer.parseInt()/Float.parseFloat()需要构造字符串再做parse，FastSQL改进后可以直接在原文本上边读取边计算数值。分支预测：在insert values中，出现常量字面值的概率比出现其他的token要高得多，通过分支预测可以减少判断提升性能。

以TPC-DS99个Query对比来看，FastSQL比Antlr Parser（使用Antlr生成）平均快20倍，比JSQLParser（使用JavaCC生成）平均快30倍，在批量Insert场景、多列查询场景下，使用FastSQL后速度提升30~50倍。

★ 无缝结合优化器

在结合AnalyticDB的优化器的SQL优化实践中，FastSQL不断将SQL Rewrite的优化能力前置化到SQL Parser中实现，通过与优化器的SQL优化能力协商，将尽可能多的表达式级别优化前置化到SQL Parser中，使得优化器能更加专注于基于代价和成本的优化（CBO，Cost-Based Optimization）上，让优化器能更多的集中在理解计算执行计划优化上。FastSQL在AST Tree上实现了许多SQL Rewrite的能力，例如：

常量折叠：

SELECT * FROM t1 tWHERE comm_week BETWEEN CAST(date_format(date_add('day',-day_of_week('20180605'),date('20180605')),'%Y%m%d') AS bigint)AND CAST(date_format(date_add('day',-day_of_week('20180605'),date('20180605')),'%Y%m%d') AS bigint)------>SELE...

BI商业智能，这个我安利过很多次。

作为当下最广泛使用的数据分析工具，它的好处实在太多啦：

对比Excel、Python、R，不用写代码，不用写SQL，降低了数据分析的准入门槛，小白上手毫不费劲。能快速响应报表需求，准备好数据，出张报表也就是1个小时的事，再不济当取数机器也是极佳的选择。数据挖掘可视化应有尽有，对比Excel，以及开发级的Echarts，简直良心便利，随时随地出报告，直接Pass掉PPT。……

什么BI分析工具好用？

这个还真不能一刀切下定论。

大家听得最多的莫过于Tableau、微软的Power BI，还有我经常推荐的FineBI。

这3款BI工具各自凭借着可视化、Excel的影响力、以及企业级广泛应用的优势，在市面上都闯出口碑了。而且功能和版本也都在不断更新。

所以，本文花了3天的功夫，整理了近万字的功能对比，看看这三个产品功能优势和差异究竟在哪里？

主要这样几个角度考量：

产品背景数据对接能力数据建模和数据加工数据可视化OLAP计算分析数据挖掘集成应用数据权限管控学习与技术服务一、产品背景

Tableau即公司名，是最早的一代自助式BI分析工具，一直以来最被人称赞的其可视化，能基于可视化做很多数据分析扩展。

Power BI是微软的，14年15年开始初见苗头，之前主要是基于Excel的高级功能，包括Power Query，Power Pivot，Power View和Power Map，后来作为Power BI集合推出。

FineBI源于帆软公司，帆软早期做报表软件，finereport很厉害，在商业领域。后来逐渐发展商业智能BI，目前最新版已迭代到 V5.0。

讲到产品就要谈谈其定位了，就像介绍人要说姓氏一样。Tableau更多定位是可视化分析的工具，所以可视化很突出。PowerBI有走Excel路子的趋势，发力个人用户，个人数据分析。FineBI更倾向于企业级应用的BI，很多功能都体现其企业级的基因。

二、数据对接能力

常规的文件数据如Excel、CSV、TXT等，三者都可以直接导入对接分析。

传统的数据库例如Oracle、SQLServer、MySQL这三款也都可以直接连接取数分析。

大数据平台方面，对于现今比较流行的大数据平台如Kylin、Derby、Gbase、ADS、Hbase、Mongodb，Power BI还不支持。这个Tableau、FineBI目前都有接口可以直接对接。FineBI还可以根据数据量以及并发情况选择直连或分布式连的对接方案。

多维数据库的连接，比如SAP BW、HANA、Essbase等数据仓库，PowerBI还不支持，这块Tableau可以直接连接，FineBI可以通过服务器数据集进行对接。

FineBI 数据连接

数据接口开发方面，在一些需要基于java定制的api程序数据集，PowerBI和Tableau都不支持进行对接，FineBI则可以进行对接，基于java api的程序数据集。不过这是国外产品的老子态了。

Power BI对于一些联机服务器数据源支持的比较好，面向分析，例如Google分析、appFigures等数据。

三、数据建模和数据加工

1、数据建模

首先，三者都是自助式BI，都是自动建模了，这是和传统BI的显著区别之一。打个比方，假设我们要抽取一个数据库的几张表的数据来分析，当导入表时会根据键自动关联，或者手动设置关联联系。

Tableau建立数据模型属于宽表模型，相当于是在原来元数据表的基础上根据新的关联关系再新生成一个结果集，之后的分析都是基于这个结果集来的，元数据发生变化，除非你手动更新，分析结果也不会有变化。

FineBI也是类似的原理，不过建立的骨架数据关联模型都是基于元数据的，元数据变化，分析结果也实时变化。

PowerBI的数据模型建立之后只能针对当前报表进行使用。且在数据源种类整合时，PowerBI无法对不同来源的数据进行实时整合建模，例如下图所示，PowerBI会自动禁用多个数据源的实时建模，需要将数据模式全部修改为抽取数据才可以进行整合关联建模。

其次，FineBI和PowerBI的数据模式都支持实时和抽取模式，但是抽取模式下，由于FineBI的采用的分布式架构引擎进行数据的列式存储（支持十亿大数据量），PowerBI的数据引擎在抽取模式下仅仅是将数据以行式储存方式导入，所以在面对海量大数据时FineBI比PowerBI计算速度更快、性能处理更加强大。另外在数据编码上，FineBI支持对数据进行多种编码类型转换，PowerBI对这方面的转换是不支持的。

2、数据加工

对于数据的清洗加工处理方面，PowerBI提供了一些可视化界面的操作选项，结合M语言和DAX函数，可以进行数据加工处理，但需要用户有一定的公式编码书写能力。

Tableau Desktop没有系统的数据加工功能，今年最新发布的Tableau prep对数据清洗和数据加工方面做了较大的弥补，从数据清理/调整、检查/筛选数据、联接/合并数据都拥有着比较体系的数据加工策略，可以无缝对接Tableau Desktop使用，不过需要同时安装Tableau Prep和Tableau DeskTop。整体数据工作流还是非常清晰、直观的。

FineBI对一些有关数据的加工处理功能，统称为“自助数据集”。包括过滤、分组汇总、新增列、合并表、自循环列（可以有树结构的数据进行分层等集团性企业）、行列转换等操作。都可以快速进行处理，且可视化无代码。

四、数据可视化

从图表丰富度和可视化报告制作能力来比较。

1、图表丰富度

可视化展现能力方面，Tableau最佳，FineBI次之，随后PowerBI。

Tableau除了常规的图表之外，还有盒须图、标靶图等和分析模型深度结合的图表。FineBI也不弱，常规图表都拥有，在数据地图方面，更是有流向地图、点地图等更实用的图表。PoweBI内置的图表种类相对较少，像玫瑰图、多层饼图、词云图、热力地图、流向地图等，需要进行市场图表拓展下载使用，图形属性方面还算丰富，可以由用户自定义进行图表样式属性的设置调节。

操作方面，FineBI和Tableau是大差不差的，都是基于著名的图形语法(The Grammar Of Graphics)设计，以“形状“和对应的“颜色“，“大小“，“提示“，“标签“等属性进行图表类型替代。

在分析区域有两个轴，横轴和纵轴，把所要分析的指标和维度拖拽到两个轴，就会自动出可视化图，图表也是根据分析情况自动给推荐的。

还支持用户将字段绑定到图表的颜色、大小、形状、标签等属性。这样一来图表的可视化展现能力也就更加丰富灵活了，我们可以通过数据——>图表属性的无限组合，尽情地进行数据可视化认知的探索和洞察。

Tableau界面

Power BI就是拖拽图表组件，选定数据的方式来展现。

2、Dashboard展现能力

再来看看3个工具的Dashboard展现能力。

PowerBI首届数据可视化大赛的冠军作品，指标合理呈现，布局直观简洁，秉承微软一贯的方块美。

FineBI的Dashboard，下图是其中内置的一个比较典型的驾驶舱demo，总体来说更加细腻，柱形图圆角、字体颜色、风格、展现形式等，图表还可以有一些闪烁动效。

Tableau的可视化更加丰富，有种信息图的感觉，布局也更加自由。

五、OLAP计算分析

从OLAP多维能力角度来看，3个工具都支持用户进行钻取、联动、切片、切块等分析操作。

计算分析能力方面Tableau和FineBI都支持用户进行排名、排序、过滤、同比、环比、方差、标准差、中位数等快速计算操作，但是在一些高级计算例如移动平均、四分位等分析计算场景，Tableau拥有者更加强大的计算分析能力。

FineBI的快速计算提供现成的同期/环期、同比/环比、排名、累计值、所有值、百分比计算等等，还挺方便的。

另外Tableau在一些需要进行高级计算的场景下，还支持与Matlab进行集成计算，使用 MATLAB 预处理数据，并将该数据保存到 Tableau 数据提取中以便进一步分析。

PowerBI大量的计算需要依靠DAX函数来进行运算，有种Excel函数既视感，其实一些常用的计算公式比如同期环期、同比环比像FineBI可以直接快速计算。

六、数据挖掘能力

FineBI最新版5.0增加了五类现成的数据挖掘算法，分别为时间序列、聚类、分类、回归和关联规则，还支持R语言的集成。时间序列算法和聚类算法还和图表分析相结合，拖拽操作即可立马看到预测和聚类的结果。

不考虑时序关联分析

多元线性回归

PowerBI目前在数据挖掘这方面没有成熟的分析模块，只是简单的集成了一个R语言的执行脚本组件供用户书写代码集成使用。

Tableau目前在数据挖掘内置时序分析预测、聚类算法，可进行简单数据挖掘计算处理（类似分类、关联分析、逻辑回归等算法则是没有的），同时也支持与R语言和Python集成以进行深度的数据挖掘分析。

七、集成应用能力

WEB级别的集成应用方面，Powe BI开放了丰富的接口供大家集成使用，还支持自定义开发集成第三方图标插件。Tableau和FineBI也有WEB接口，比如进行Iframe网页集成，但是无法进行代码级别的自定义图表开发集成。

在移动集成应用中，FineBI支持微信集成和钉钉集成，给当今便捷式社交平台的数据分析查看带来了较大的便利，这方面的应用PowerBI并不支持。

门户集成方面，FineBI开放了单点登录接口，这方面PowerBI暂未直接支持。

FineBI有专门的一个数据报表管理平台以及运维。

八、数据管控能力

数据的权限管控能力方面，PowerBI可以将做好的报表打包发布为组织内容包并且进行指定用户组分配查看权限，并且由管理员进行用户组的行级别权限分配，但是无法控制用户查看的列级别的权限粒度，Tableau也是一样。

这块是FineBI的优势，之前也在产品定位介绍中提到，FineBI是从企业级应用出身的一款BI，所以具有非常完善的数据权限管控能力。除了提供仪表板的权限分配之外，还能够针对不同部门/岗位/角色的人员进行行/列级别的数据权限管控，使得不同的人能够根据权限限制而只能看到自己的部分数据。另外在针对企业集团数据权限管控方面，FineBI提供了多级管控权限供用户进行多层权限分配，为数据权限管控提供了保障。

九、学习与技术服务

Power BI遵循着微软产品相似的理念、原则和体系结构，它也为Windows用户提供了一个简洁熟悉的操作界面，以帮助用户快速适用学习上手。但是，像其他软件一样，它也有其起伏，目前并不是非常成熟，商业选型必须仔细考虑。学习资料方面，关于PowerBI官方的学习资料基础文档还算健全，但是有部分内容是英文的，外部一些Excel社区都各自开了教学课程，但付费居多，这个全靠大家挖掘资料的功力。

Tableau本身是一款非常成熟的全球化商业软件，拥有着非常强大的数据可视化分析功能。学习资料方面，官网也有很多学习文档、案例、视频等资源供用户进行上手学习。相较而言，Tableau产品学习曲线相对要陡峭一些，因为更加适合有专业数据技术能力的数据分析师使用。国内主要是代理商提供项目实施和技术服务，本土化稍微弱一些。

FineBI由于是国内帆软的BI分析平台提供商，所以不论是基础的学习文档还是教学视频资料都比较丰富，另外还有着非常活跃的帆软中文社区供所有用户进行学习交流。技术服务方面，尤其是对于企业级别的用户，还会有专业的技术服务团队响应服务，在国内本土化服务做得相当不错。

最后关键的，价格。

Tableau个人版有15天免费试用版，过后收费。Power BI和FineBI个人使用都免费。

商业部署。Tableau光产品，Desktop+Sever，一套一人加税后是11万多，每增加一人多买一个桌面版，就是15000左右，公司体量如果在3、40套，预计得7、80万，不含定制实施和维护服务。Power BI是按设计用户和节点卖的，按年/按月收费。估计了一下，假设200个用户的企业，40个设计用户，1年收费是45万左右，也就是每年要付出这么多，还是比较贵的。FineBI据我了解是类似软件采购买断式的，价格按照功能模块还有并发数定，平均2、30万起，不算服务实施。但这一性价比也远超于前两者了

个人使用，两者都是免费的。PowerBI毕竟背靠Excel这座大山，和Excel配合使用，大家会普遍觉得习惯。而FineBI又是另一种扁平化的风格，很多计算公式，可视化特效都有现成的，更加自助些。大家不妨都下载试试。

最后

作为数据分析师，也是数据产品的爱好者，我呢喜欢把弄各种工具。Tableau的可视化很人性，个人使用就像是Excel透视表的升级版。Power BI除了M语言和DAX语言得心应手比较难，产品操作也都延续了Excel的思想。但是两者共通的毛病，面向企业的产品定制化以及庞杂的报表分析需求，不是特别友好（开发难度太大，报表制作还得依靠Excel）。但这却是国内大多数企业很普遍的需求，这一块不妨青睐于国内“符合国情”的BI工具FineBI。

所以�...

财务报表是反映公司财务状况的重要数据报表。结构清晰，展示全面的财务报表能够帮助企业的管理人员深入分析报表数据，挖掘数据价值，帮助企业查找问题，以便使企业运行的更加良好。

下面列举使用葡萄城报表制作出的清晰美观的财务报表。

资产负债结构表

这张报表展示了财务三大报表之一的资产负债表，报表让企业现有资产和负债情况一目了然。

费用报表

通过费用报表，可以清晰的查看公司的费用情况趋势等，以便为节省开支计划提供数据依据。

库存分析报表

库存情况代表了企业的生产成品实际的流动情况，反映了企业的销售等情况是否正常。通过库存分析报表，企业的管理人员能实时掌握企业的运营状态。

以上报表均包含在葡萄城报表模板库中。

了解报表模板库：http://grapecity/enterprise-solutions/activereports_server/library/

转载请注明出自：葡萄城报表

关于报表模板库

报表模板库是葡萄城面向广大报表用户推出的免费报表制作、学习及参考工具。通过该工具，降低用户制作报表难度，人人都可成为报表专家，业务数据分析不再遥不可及！

仅需一步！无需配置环境及参数，即可快速浏览百余套来自真实行业的案例及典型应用模板，在了解专业报表的布局及功能的同时，掌握报表从设计到呈现的全部技术细节，还可通过自带的设计器，所见即所得的修改报表模板，并查看效果。

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

　　BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!