1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

在美国等商业发展较早且更为发达的地区，客流分析统计系统早已深入人心，并得到广泛的普及。为什么要用客流分析统计系统?说白了，客流统计系统就是关于你店铺的大数据系统。对零售商来说，这是他们了解店铺客流、了解顾客购买心理、安排员工工时，安排节假日促销活动的重要工具。同时还能分析他们店铺的经营表现及业绩。本文将从客流统计的应用场景及客流统计的技术发展进行展开，为读者展示服装业、大型商铺和购物中心客流统计的重要性。

购物中心作为一个以零售为主的商业组织形式，需要精细化管理，而精细化管理以事实为依据，用数字说话，决策者、管理者通过对购物中心各个硬软件得出的数字进行分析，并用这些数据为顾客与商户服务。客流量对大型购物中心来说是其核心元素，充足有效的客流才能提升购物中心的盈利能力，客流不仅是定位和招商的基础，更是购物中心是否能成功运营的关键。近几年来，精确地统计进入购物中心的顾客数量成了优化购物中心运营的必要手段。那么，客流统计系统对零售餐饮业的贡献究竟有多大呢。

客流统计分析能做什么？

如果没有准确的客流数据很难做出合理的、令人信服的划分。客流分析作用大体总结如下：

1．顾客画像分析，主要统计客流量总体的年龄段和性别、兴趣偏好、学历、收入水平等进行标签分类管理；

2．商圈消费能力，分析客群消费平均水平决定了商品定价的前提；

3．客流访问路径，汇总出一条或者多条主要顾客购物行为路径优化商场动线；

4．客流增长趋势，掌握客流量每一天变化趋势有利于营销工作的开展和进行；

5．回头客预测分析，及时识别回头客到店趋势，预测经营业绩。

技术发展

当了解客流统计分析的作用后我们首先看一看客流统计技术的技术发展。现在，运用的客流统计技术主要有三种：红外线客流统计、视频客流统计、WIFI探针客流统计，这三种客流统计技术，用哪种比较好?这个只能说，在不同的情况下，有不同的需求。

技术一： 红外线客流统计技术

传统的客流管理主要是总量上的统计，红外线客流统计技术可能更为常用。红外线客流统计技术依据人体的经过阻断红外线之间的对射进行客流量的统计，其统计客流数量方便，数据传输量小，成本较低，安装方便，对于光线要求不高。这种方式简单易实施，但缺点也显而易见，通过人体经过阻断红外线间的对射来测数，导致在多人经过时可能漏数，而不断进出的同一个体则会被重复计数等问题。这样测出来的客流数据存在着较大的偏差。

技术二：Wif探针客流统计技术

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，当然，遇到没带手机、关闭无线等情况，这种技术也爱莫能助。

技术三：3d双目客流量统计系统设备

由于人工计数的准确率偏低且无法进行长期统计，红外方式又不能双向统计人流量，更无法统计并排时顾客人数，因此，借助视频分析技术，准确率高达95%的新型客流统计分析系统应运而生。

3d双目客流量统计系统的原理是基于嵌入式摄像镜头采集视频,然后对两个摄像头的视频图像进行视差计算,形成视频中人的3D图像,过对人体的形状和高度为分析目标,通过区域和方向的设定来统计通过人数。通过商场客流量的历史数据的对比，就可知道什么时间段的客流量变少，而在这个时间分析采用哪种营销方式可吸引增多客流量。

客流统计分析应用场景

应用场景一：Wifi探针为大型商铺、购物中心数据赋能

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，并且 Wifi探针也是目前线下进行流量识别最好的手段，落地性、数据获取能力都很强。

通过客流统计我们可以对路径、频次和时长三个维度的数据对个体消费者进行识别和判断。比如，系统捕捉到消费者甲每个月要来商场两到三次，每次来了之后都直奔母婴区，而且在那停留很长时间。那么，系统就可以给他打上“母婴”的标签。以此类推，就可以根据消费者的行为习惯赋予其各种各样的标签。

此外，通过Wifi探针的客流统计系统还可以从用户生命周期的维度对消费者进行管理，给消费者打上高、低活跃度，新、老客户，流失客，回流客等标签。后台支持多种标签组合查询和统计分析，比如可以分析母婴类客户的新增和流失客户情况。让商场经营者对自己场内的客流变化一目了然，并有针对性地组织各类营销活动。

过去商场的营销活动都是围绕节假日展开的，缺少针对性。有了通过Wifi探针的客流统计系统，商场就可以更加有的放矢。营销活动结束后还可以根据后台数据分析目标客户的回流情况，评估营销活动的效果，并及时进行调整。甚至能够分析出不同的天气、活动对店铺客流的影响。

应用场景二：客流分析助力购物中心

第一，客流统计系统能够为购物中心确定铺位租金水平。只需在购楼物中心的各个出入口、各层、各通道、各商铺门前安装客流统计系统，就可以获得不同时段的客流分布情况，同一类型店中表现优异的租户立时可见，表现较差的营业区域可立即受到关注，而且从今往后，对于租户组合的调整不再盲目，完全可以通过客流数据来进行科学分析。更为重要的是，客流数据给购物中心的招商部门在确定具体楼层具体区位的铺位租金水平和今后的租金调整，提供了实实在在的数据支持。通过对出入口人流量数据的观测，可以帮助确定广告位定价，合理确定重要广告的摆放位置。

并且将客流统计系统得到的客流数据与租金水平结合，在租赁合同中设定可测量的运行参数，可以优化收入，展示投资者的绩效单。客流量数据还是购物中心资产的附加值，在如今竞争异常激烈的零售业，拥有更多人气的购物中心显然拥有较高的市场价值。

第二，客流统计系统为购物中心有计划地引进顾客分析，并制定合理的活动主题方案。由客流数据的日常统计使营运部门对整个购物中心的运营情况了然于心。其次，根据客流的变化，有效分配和安排物业管理人员、维护人员、安保人员、保洁人员等，合理利用人力资源。在活动期间，客流系统提供准确的人流数据，不但可以直观地对活动效果进行评估，结合其他数据报表亦可分析出营销活动和促销投资的回报情况，此外，结合历史同期活动的客流量数据，对比分析得出人流规律，为今后活动方案的制定提供依据。

第三，客流统计系统可为购物中心提供更详细的分析报表。客流统计系统，不但能够按时按需提供客流数据，将历史客流数据和当前客流信息进行对比分析，还能与购物中心现有的其他系统结合，对购物中心进行全方位多角度的分析，产生更为详尽的业绩报表，为管理人员分析现状、调整经营战术和确定未来经营方向，提供充分、有价值的信息。

应用场景三：视频探头在服装业、精品商铺的应用

通过客流统计系统的引进及双目摄像头的安装就可以统计进出店客流，并通过定制化客流报表来对运营KPI进行分析，为运营战略的调整提供强有力依据。

拿ETRO专卖店举例，ETRO在门店入口处安装22台双目摄像头摄像头进行监测，将进店客流传输至云端服务器，进而生成每日各时段、以及日/周/月汇总对比报表，店长及总部管理者可通过网页版轻松掌握各分店客流量、转化率。精准的客流统计，为门店的选址提供参考，更是改善了门店的管理效率、服务质量，最终促进成单量及客单价的提升。

虽然3d双目客流量统计系统成本远高于红外线客流统计技术和WIFI探针客流统计技术，但针对面向中高档消费群体的精品类商铺，客流量小，但对数据要求精准，此时并不需要安装过多双目摄像头，因此采用视频客流统计会远比其他两项更具优势，从而精准定位消费者，方便CRM管理，增加经营效益。

应用场景四：通过广告推送进行物流分析

实时客流统计分析，统计每日每时的实时客流信息，当用户在广告机前端停留1~2秒后，摄像头会抓拍人脸画像并可以精确统计任意时段内进店驻留人群的性别和年龄，商家使用客流统计用些信息分析出不同人群驻留店面时长、区域统计客流强度，产品关注度、不同人群关注的产品热度。通过大数据分析比对，有利于商家部署最佳的运营模式。

应用场景五：通过客流分析与消费者进行连接实现精准营销

当我们发现，有“女性-母婴亲子-童车童床”标签的客群，在“母婴亲子-辅食”“家居-家具”“家具-厨电耐用”也有不错的消费，后期在推送童车童床offer的同时，也可以同时考虑加上辅食、家具、厨电等活动。同时，我们可以发现，有酒类制品标签的客群，均有“购物-食品”的标签，后期在推送酒类制品offer的同时，也可以向他们推送食品的offer；另外支付的客群也有不错占比，后期也可以将支付融入到相关推送活动中。正是运用了客流统计分析系统实现了相关产品的精准营销。

应用场景六：客流统计是重新构建门店和消费者的连接

在实体门店中应用客流统计是重新构建门店和消费者的连接，运用客流统计系统，先进的人脸识别技术，捕捉进店的数量，并对人像进行分析，统计顾客的性别、年龄、身份等属性，通过后台生成的数据分析报表，呈现顾客的光顾频率和回头客分析，让店员第一时间了解顾客的消费行为习惯，摸清顾客消费偏好和消费心理，做出合适的商品推荐和提供专业的服务。

并与POS机无缝连接，有效计算出提袋率和客单价，让会员通过人脸实现自动积分，打折服务，专业巩固vip客户量和消费群，并预测客流动线，店员针对性调整商品及陈列布向，营造科学合理的消费场景完美实现门店与消费者的互动。

使用客流分析系统可能存在的问题

数据是否可信?可用？

您必须确信获取的数据具有高度的完整性和统计意义。一个值得信赖的数据门户还必须表明数据来源，以便您准确地向您组织内部的利益相关方进行数据汇报。

您的数据看起来像是难懂的数字堆砌，还是如叙事般清晰易懂?您是否能够将数据可视化?有时您仅需要原始数据，其他时候则需要通过高质量的数据可视化以助解读数据。因此，应确保您的分析解决方案两者皆备。

结语：

纵然面对一些问题的存在，客流分析统计系统还是好处诸多，甚至可以在选址落地前通过对顾客群体的了解和分析，从而对店铺面积大小、人员比例、预计成本比例、客单价、库存量有更准确地预估和调整。相信多维度数据的获取，能够为优化品牌商品结构、陈列布置、运营策略提供更多的支持。

会议预告：

中国电子商会商业信息化协会&零售CIO俱乐部 将于9月21-22日在石家庄国际展览中心举办2018第四届中国智慧商业与数字化运营高峰论坛，核心议题：

1、新零售下，重构人货场和新消费场景价值；

2、从经营商品到经营顾客，构建全新的数字化体验和数字化运营体系；

3、顾客数字化、商品数字化、服务数字化、营销数字化、供应链数字化、经营管理数字化，改造经营管理，重塑商业模式；

4、全域消费场景下的会员营销和CRM，构建数字化消费者运营平台；

5、AI、大数据新技术如何以人为本赋能智慧门店的运营管理？如何打造线上新零售智慧门店？

6、如何建设以门店为中心的新零售配送体系？

7、如何打通全渠道数据壁垒，挖掘大数据的核心价值？

8、如何形成一套自己的新零售+科技创新的打法，提升智能化、数字化的运营效益？

商业智能BI行业发展至今这么多年，随着消费者需求的变化，大数据可视化展示系统的技术要求也日新月异。根据最新的行业报告，未来的大数据可视化系统更多会储存在云端里，也就是云技术会迅猛发展和普遍，而且人人可分析，人人可决策，达到全员数据化。这是新一代大数据可视化展示系统即将与旧一代的区别。

以前，企业的选择是商业智能(Business Intelligence)，它可以帮助企业收集、管理和分析数据，将这些数据转化为知识或洞察(insight)，然后分发到企业各处。 但是，在Gartner发布的《2017BI和数据分析软件市场统计报告》中，发现了这样的趋势： (1) 传统的商业智能平台市场占有率正在逐年降低。从2013年的49%，降至2015年的41%。而与之相反的，是新一代商业智能平台，它的市场占有率从7%上升至14%，几乎“吃”掉了传统BI失掉的所有市场。 (2) 根据预测，未来10年将有更多的分析工具/商业智能产品部署于云。

什么是新一代大数据可视化展示系统？ 新一代BI最大的变化，就是把商业分析全流程的中心从专家转向了业务人员，IT部门不再是数据采集、准备与内容创作的主力或灵魂，仅在分析的流程中提供一小部分的支持工作;以前业务人员跟数据之间隔着一个IT部门，像隔着一座大山;新一代商业智能，允许业务人员直接跟数据对话、直接创建分析内容、自由的用可视化进行数据探索，还可以彼此协作。 新一代大数据可视化展示系统为“全员数据化”赋能，还有一个利好，就是让每一个“决策者”都有据可依，要知道，这可是一个企业人人都是“决策者”的时代。几乎所有的员工都可以通过他们的工作习惯、他们使用(或滥用)的技术、对突发事件及挑战的应对方式等，对运营产生影响。因此，未来的BI工具将是全员数据化的趋势。

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品

　近年人工智能崭露头角，势力正猛，但是AI和数据可视化工具有关系吗？大数据和人工智能的结合会产生什么火花呢？在这个命题上，中国移动大数据平台就和人工智能进行了创新的探索，用大数据可视化报表工具赋能人工智能，创造更好的服务。

　　人工智能的基础主要是大量的计算能力和数据资源，而电信运营商的数据资源丰富，目前中国移动大数据平台拥有300PB左右的数据量，如何利用人工智能把这些数据真正利用起来，让企业大数据可视化工具里汇总的数据结合人工智能技术，打造创新的服务，就是我们要探索的。

　　“人工智能最大的变化之一就是图象识别和语音识别的发展，而这并不是传统运营商的数据范围。所以，我们将拓展企业级大数据平台数据采集范围，以此提升大数据平台应用水平。同时，利用AI来盘活原先的机器学习模式。在此过程中，建立丰富的合作生态圈，共同进行技术、商业模式和业务上的合作。”

　　目前，中国移动已经在多个领域展开了人工智能的应用。比如智能系统控制，通过引入语音识别能力，由语音代替键盘或触控输入，进行搜索、组合查询、界面控制、语音播报等操作。

　　此外，AI还可以反推BI更智能地运维。通过机器学习基站监控视频中的对象（人、脸等）和传感器（烟雾、红外、温度等），检测基站是否存在入侵、火情等场景，可以实现基站的智能运维。通过对于实时运维数据的采集，了解服务器集群的性能指标和任务运行状况，让运维工作会运转的更加顺利。

　　作为通信企业，采取高新技术促进企业业务智能运营，已经不再新鲜。很多通信企业像讯捷集团，晓通网络等，早早就引入数据可视化工具来实现企业的信息化管理，优化管理模式。

某矿泉水公司，除了依靠自身其特色产品之外，还狠抓数据管理，主要体现对经销商的营销方式、顾客的喜好、需求，他们都通过数据来进行分析。

在没有上数据分析平台之前，他们想知道怎样摆放水堆更能促进销售?什么年龄段的消费者在水堆前停留久，他们一次购买的量会是多少?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?

为了弄清这些问题，从2008年开始，他们的业务员就开始采集信息，如开始拍摄水怎么摆放、位置有什么变化、高度如何等等照片，每个月都会产生大概有3TB数据。对于这么多的数据，他们借助金金蝶BI-SpotView运营魔方制定数据管理平台，平台架构如下如下：

通过数据之后，实现产品精准营销，大大增强产品销售量，并且能够实时监控产品动态。

如图 （经销商分析）

除此之外，该公司还为了控制物流成本，提高企业的利润，把很多其它数据纳了进来，如：高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)等等

通过金蝶BI-SpotView运营魔方平台，进行数据分析处理之后，及时利用大数据，计算出一套最优的仓储运输方案，使各条线路的运输成本、物流中心设置最佳地点等信息及时呈现；将全国十多个水源地、几百家办事处和配送中心整合到一个体系之中，形成一个动态网状结构，进行即时的管控。

同时还把让退货、残次等问题与生产基地能够实时连接起来，通过数据准确获知该生产多少，送多少实现对产品精准预知与控制。最终解决了采购、仓储、配送这条线上的顽症，实现产品运输决策的智能科技化、物流成本的精准化、运输资源的配置合理化。

使用金蝶BI-SpotView运营魔方取得成效

有了强大的数据分析能力做支持后，他们运用大数据技术，销售、市场费用、物流、生产、财务等数据的计算速度，几乎做到实时计算，产品实时统筹计划，大大提高了产品销售额和市场占有份额，近几年更是以30%-40%的速度迅速增长。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

三秒之内成千上万台车辆统计的多月对比，多张报表数据同时展示。

　　-所有车辆里程累加后本月与上月对比；

　　-所有车辆当月里程排行对比；

　　-单个车辆月（行驶、停驶、超速、总里程、行驶次数等）数据详情；

　　-所有轨迹信息点月分布图（热点图：车辆到过最东、最南、最西、最北）；

　　-数据排行榜（最安全、最危险、最勤奋、最懒惰、行驶最多，最少......）。

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。