首先恭喜你，当你看到这篇文章的时候，不管你是小白还是大咖，你都将直接获得一个高级技能：轻松上手可实时刷新的酷炫大屏。

制作可视化大屏，一般有这么几种方案：

写代码调用数据和图表，比如写JS+Echarts ；直接的数据可视化工具

前者对于大部分人来说门槛较高，而且尤其是大屏需求比较多，比方说要做10个的情况下，亲身试验写代码容易崩溃。如果涉及大量的动态可视化，涉及大数据量，没有底层技术，性能就会大打折扣。而且投到不同尺寸的屏幕，调试起来非常麻烦。

那么有没有一种简单的可视化大屏方案，可以快速的设计样式呈现效果、自适应不同大小的屏幕、而且还可以实时刷新数据？

有，选择后者，直接用数据可视化工具。

市面上能做到直接呈现在LED屏幕的大屏可视化工具并不多，多数需要代码调试，报表工具FineReport和FineBI工具可直接实现，相对来讲FineBI使用更简单，本文也是基于FineBI，来教大家做可实时刷新的数据大屏。

先来看看我们今天即将要教大家做的大屏效果（请接受一波酷炫可视化的冲击！）

不懂代码，如何做出实时刷新的数据大屏？

1、快速上手学习BI工具

FineBI是一个可视化的自助式BI工具，整个操作就是导数据/连数据库——处理数据（可视化ETL）选择图表——拖数据字段——可视化展现&美化，操作简单上手快。多数情况下，这个工具都是拿来做可视化报表，对接企业大数据平台，做企业数据运营分析用。

关于他的入门教程，小编之前曾发过一个视频《30分钟，教你零基础用BI搭建可视化大屏！》

2、构建数据模型

掌握了finebi的基础功能：怎么连接数据，怎么趋势，怎么做图表。接下来就到了正式做大屏步骤，先是构建数据模型。

大屏也是有主题的，本质是对一类业务的分析，然后综合展示，比如销售大屏。像这类业务分析一般要用到多张维度表和事实明细表的数据（例如下图中的分公司维度表和合同事实表）。常规操作是将不同业务系统的sql表拼接、宽表拼接，构成一个星型数据模型，需要你有专业的数据仓库技能。那这里化繁为简，可以直接用工具自带的敏捷数据模型去替代上述的工作，原理是自动构建雪花型模型，跨数据源关联。

搭建好上图的销售demo业务包的数据表和关联模型之后，下一步就可以进行正式的销售管理驾驶舱大屏搭建。

3、大屏布局设计

在给大家介绍具体制作过程之前先讲解一下通常管理驾驶舱的布局方式。管理驾驶舱往往展现的是一个企业全局的业务，一般分为主要指标和次要指标两个层次，主要指标反映核心业务，次要指标用于进一步阐述分析。所以在制作时给予不一样的侧重，这里推荐几种常见的版式。

上面几个版式不是金科定律，只是通常推荐的主次分布版式，能让信息一目了然。实际项目中，不一定使用主次分布，也可以使用平均分布，或者可以二者结合进行适当调整。比如下图所示，指标很多很多，存在多个层级的，就根据上面所说的基本原则进行一些微调，效果会很好。

4、实际分析制作过程

有了以上的布局设计，每一个模块就单独用一类图表分析一块内容，比如销售分布、签单分布、回款金额分析......整体呈现一个主题（在这里是销售业务）的分析。

那具体如何用工具操作呢？

首先，既然是销售管理驾驶舱，那么我们可以先从领导和高层最为关注的公司签单金额和回款金额入手。对于这样的汇总指标，选择仪表板进行数据展示再合适不过了。选择拖入合同事实表中的合同金额和合同回款表中的回款金额两个指标，样式这里选择圆环仪表盘，同时两个指标的单位都设置成亿，最大刻度输入当前合同金额，2.78亿。这样一来，2.78亿的合同回款，2.25亿的回款金额以及80.87%的总的回款率也就统计出来了,企业的签单金额和回款金额/回款率都一目了然。

其他部分也是一样的原理，篇幅原因不多介绍，核心是要知道展现哪些数据指标。

5、实时刷新功能

如何做出实时刷新的数据大屏，本篇还有一个重点内容就是大屏的实时刷新功能，也是大家问得比较多的。

所谓实时刷新，即你展示出来的酷炫大屏上面的数据将是动态刷新，能够实时反映数据库中的数据。我们的大屏通常连接着数据库，我们打开报表的时候，会读取数据库中的数据，但数据库中的数据可能是动态变化的，如果要读取变化的数据的话，不需要我们重新打开刷新报表，报表中的数据将动态自动刷新。

FineBI实时刷新的底层技术和性能:

实时刷新的实现所依靠的一个重要支撑，是FineBI自带的FineDirect直连引擎。FineDirect直连引擎给出了数据端到应用端的完整解决方案，支持连接企业已有的大数据计算平台，如Hadoop、Kylin、Greenplum、Vertica等，在充分利用平台计算性能的同时，也解决了TB至PB级超大数据量多维分析的难题。

FineDirect是FineBI推出的大数据直连引擎功能模块，用于更好地处理超大数据量的分析要求和数据源实时性的需求。通过FineDirect直连引擎可以直接对接现有的数据源，无论是传统的关系型数据库（Oracle，Sqlserver），还是日益成熟的Hadoop生态圈，Mpp架构的解决方案，都可以直接进行自助取数分析，实现更敏捷的、更及时的决策分析。

FineDirect引擎核心特点

①PB级别数据量多维分析

FineDirect直连引擎给出了数据端到应用端的完整解决方案，支持连接企业已有的大数据计算平台，如Hadoop、Kylin、Greenplum、Vertica等，在充分利用平台计算性能的同时，也解决了TB至PB级超大数据量多维分析的难题。

②实时大数据分析

FineDirect能够连接实时数据进行分析，及时返回分析结果。基于FineDirect的可视化引擎，可以将用户拖拽分析的操作，实时地转化为经过处理的查询语言，实现对企业数据库实时分析的效果。

③双引擎模式灵活搭配

FineBI已有FineIndex引擎（原cube）和新的FineDirect直连引擎可以搭配使用，来满足不同的应用场景。企业可以根据实际需求的不同准备两种类型的数据，通过FineIndex模式配置那些不经常更新、实时性要求不高的数据；通过FineDirect直连引擎配置大数据量且有实时分析需求的数据，双管齐下。

导语：在这个数据爆炸的时代，组织正在以不断增长的速度收集和存储数据。但是，仅为您的组织收集数据并不具有任何业务价值。这些大数据的实时分析和可视化将这些大量数据转化为有价值的统计数据。虽然这种实时洞察对您的组织具有重要价值，但它确实有利有弊。

在进一步讨论之前，让我们讨论大数据，究竟是什么？传统上，数据存储起来要容易得多，因为它的数量要少得多。当需要以更大的数量存储数据集时，大数据才出现。它不仅是数据或数据集，还包括工具，技术，方法和框架的组合。大数据几乎可以来自任何产生数据的东西，包括搜索引擎和社交媒体，以及一些不太明显的来源，如电网和交通基础设施。该数据可以分为三种类型：结构化，半结构化和非结构化。

通常以预定义的间隔收集和分析大数据。然而，通过实时大数据分析，收集和分析是连续的，为企业提供最新的洞察力。Hadoop是用于分析大数据的最着名的工具，但它不适合处理实时大数据分析。一些实时大数据工具包括： 这是一个实时分布式计算系统，可与任何编程语言配合使用，并且可扩展。它目前由Twitter拥有。这是一个企业开源网格计算工具。

现在让我们讨论实时大数据分析的一些优点。快速识别错误，假设发生了错误，需要尽快解决。通过实时大数据分析，可以立即识别此错误并快速解决。这可以帮助防止更多和/或更严重的故障。从长远来看，这也有助于企业的声誉 - 快速纠错可以帮助赢得更多客户。节省，即使实时大数据分析的实施成本很高，立即数据分析的高价值也可以弥补这一支出。渐进式服务，通过大数据分析监控产品和服务可以提高客户的转换率，从而可以带来更高的利润。通过分析可以轻松预测即将发生的错误和问题，这也有助于更多地关注客户需求。

实时欺诈检测，管理系统和服务器安全性的团队可以快速，轻松地通知欺诈行为，一旦检测到欺诈行为，就可以实时采取措施。针对竞争对手的策略 - 竞争吓跑了当今市场中的许多人，大数据分析有助于提供竞争对手的详细信息，例如推出新产品，降低/提高特定时间段的价格或关注特定地点的用户。洞察力销售见解对于了解销售情况至关重要。这些见解可以带来额外的收入，例如不会长期失去客户，检查跳出率并通过分析实时大数据分析找到增加销售的最佳方式。趋势，通过分析客户趋势做出的决策可以通过实时大数据分析来完成。这可能包括产品，广告，客户需求，特定季节和其他可用的优惠。因此，它也可以改善长期决策。

现在让我们来看看缺点。如前所述，Hadoop是最广泛使用的大数据分析工具，目前无法处理实时数据。因此，需要一些其他工具，期望未来Hadoop将为实时方法添加功能。需要新方法，一些组织习惯于每周一次接收见解。但是，随着实时大数据的不断流入，需要采用完全不同的方法。这对某些组织来说可能是一个挑战，并可能导致某些决策和计划的重塑。可能的失败，一些组织可能会将实时大数据分析视为一个闪亮的新玩具，并希望立即实施。但是，如果没有正确实施，这可能会导致许多问题。如果企业不习惯以如此快的速度处理数据，则可能导致错误的分析，这可能会给组织带来更大的问题。

总结：实时大数据分析对于企业来说可能非常重要，但企业必须首先确定专业人员在特定情况下是否超过缺点，如果是，那么这些缺点将如何克服。这仍然是一项相对较新的技术，因此有望在未来发展，并有望解决目前的一些挑战。

科技后时代

据Gartner研究表明，人工智能、物联网等助力下一代商业创新，由此产生大量数据，2020年前企业将使用超过75亿台联网设备。这种转变或将推动从联网汽车、智能无人机到制造、智能零售等下一代科技发展。更多数据需要实时分析，IDC发布的“数据时代2025”研究表明，到2025年，约20%的数据将是实时数据，无需发回到网络中心进行处理。这意味着企业将建立自己的集中式云计算架构，并加强在边缘处理和存储更多数据的能力。

全球创新存储公司希捷研究认为，在边缘计算模型下，由于大多数知识来自靠近数据源的本地，数据分析仅部分依赖于网络带宽。以往，大型传统数据中心一直是网络计算和连接的支柱，几乎所有数据都在一个核心集中处理。然而，物联网技术和支持AI的应用需要在边缘进行计算，由此影响未来数据中心的建设规模与位置。随着边缘计算的兴起，更多小型数据中心将建在靠近城市和商业区等地方。区域市场和较小的城市可能会有更多存储中心，以及固定在电信塔等现有通信基础设施上的微型数据中心。另外，微型数据中心可以部署在现有无线网络的电信塔和其他重要位置上。未来大量的数据中心也将不再像如今的数据中心般拥有大型仓库的规模。

（文/广州日报全媒体记者文静）

亲爱的读者，如果你知道任何关于科技前沿的猛料，欢迎将新闻线索发至：gzrbkc@126，我们将有专人进行回复和处理。

编者按：在云计算大数据技术日趋成熟的当今，数据挖掘分析与商业智能应用的价值越来越被企业所理解。企业通过对关键业务数据、客户信息以及日志数据的挖掘分析，可进行精准的客户画像并分析客户属性，更准确地发现目标客户和更多的营销机会(市场客户分析、交叉营销等)，实现市场、渠道和产品的细分与创新，动态掌握复杂市场需求的变化，智能数据解决方案提升了市场竞争力。

说到智能数据解决方案供应商，去年刚刚获得6000万元融资的“袋鼠云”最近可谓是“动作频频”，不仅多名前阿里核心技术人员强势加盟，更有硅谷留洋“博士团”鼎力回归，让“袋鼠云”这一新锐品牌迅速被数据行业“特别关注”。

数据智能解决方案新锐品牌“袋鼠云”从数据资源规划及获取、数据质量分析及提升，到基于中台策略的数据整体建模以及数据的资产管理都有切实的解决方案，进一步帮助客户建立标签引擎的实体画像，从而帮助客户实施数据指标体系梳理计算（BI）和数据应用规划及实现(DI),最终用数据可视化大屏的形式呈现出来帮助实时决策。可以说“袋鼠云”的智能数据解决方案的产品线可谓“相当完整”。

“袋鼠云”产品线构建了统一负载的全量数据分析平台与方案，统一的在线实时存储、处理、分析工具，支持PB级海量数据处理，可随业务需求线性扩展，为客户实现“即时刻画、秒级呈现”的数据可视化大屏呈现方式。

记者采访中了解到，目前“袋鼠云”品牌在全产品线的智能数据分析解决方案中，日志大数据分析平台与数据可视化大屏即时呈现两大方面技术积累与产品优势十分明显。

EasyLog日志大数据分析平台—用日志解析为企业做体检

“我们将为客户从大量的数据日志项目中，根据客户业务现状清洗整理出切实可行的关键日志信息，做好日志数据挖掘和分析利用，充分在运维过程中给客户带来价值。” 袋鼠云在采访中给记者解释：“传统企业对于海量日志数据利用效能很低，而每次都靠IT人员查阅日志进行系统运维的方式既成本高昂而且运维稳定性很低，而采用了袋鼠云的日志大数据分析平台EasyLog就可以大大提升企业运维的效率，对于很多潜在的系统问题也能做到良好的预警。”

据介绍，目前袋鼠云日志大数据分析平台EasyLog主要部署在大中型互联网企业以及互联网金融行业，也有大型的金融机构、电信运营商等等，这些行业都非常重视日志大数据对于企业运维的作用。

同时袋鼠云日志大数据分析平台EasyLog也可帮助企业满足《中国网络安全法》日志归档要求、满足《公安部息系统安全等级保护》三级要求；

袋鼠云向记者进一步介绍：“目前企业针对日志大数据分析应用有几种方案，一种是基于开源应用的ELK方案,另一种就是类似袋鼠云提供的日志大数据分析平台。前者由于是开源应用，因此企业的前期开发与后期维护成本比较高，也面临无可预计的开发风险，而后者袋鼠云日志大数据分析平台更像是一个“拎包入住”并自配资深管家的成熟方案平台，让客户省去很多后顾之忧。”

而且在采访中记者了解到：“袋鼠云日志大数据分析平台，也有灵活的部署方式，既可以在客户方线下机房部署，也可以部署在云端服务，甚至针对小型企业袋鼠云还有SaaS版的轻量级产品，针对不同的客户可谓“面面俱到”。并且这样的金融级日志分析、AIOps平台，可用于故障定位、业务监控、安全审计等，袋鼠云日志有着可视化仪表盘、监控告警、数据脱敏、数据转发投递、多租户数据隔离等特色功能，可根据企业实际业务完成分析场景建设，以提升企业故障发现率、运维运营效率。

“目前著名的互联网银行品牌新网银行在旗下十余个核心系统中均采用了袋鼠云的日志大数据分析平台EasyLog，从而提升了各业务系统故障发现率，同时极大降低故障处理时间，也成为了成功的众多案例之一。”采访中记者了解到。

数据可视化实时大屏—实现企业数据化运营

而作为袋鼠云全产品线中另一个亮点的“数据可视化实时大屏”也是目前炙手可热的技术，数据产生价值这个大方向让最后呈现的环节中的数据实时分析产生价值，呈现一切价值数据可视化，最终帮助提升生产效率、促进产业变革，通过客户产业创新让数据价值最大化。

采访中记者了解到，袋鼠云数据可视化实时大屏目前主要服务的行业包括新零售、智能制造、智慧人社、以及业务快速增长的互联网创业公司等。

采访中记者了解到，新零售方面一直是袋鼠云的强项。一方面借助营销引擎帮助品牌商打通线上线下的用户数据，实现精准营销。围绕客户的发展与持续经营，统一管理线上营销渠道，打通全域数据，通过数据个性化线下门店服务体验等，使企业与客户之间可随时无阻碍的连接。这些数据与分析都以精准实时的形式呈现在客户的可视化大屏之上，让客户从容决策。

“要精准呈现数据可视化大屏的最佳效果，数据的实时性采集非常重要，袋鼠云实现了对TB级别甚至是PB级别数据的实时处理，实现秒级反馈是最基本的要求，这得益于袋鼠云的技术团队多数来自于阿里云，在实时数据计算处理与呈现方面有丰富的经验。”可视化大屏将企业实时数据即时呈现，比如电商平台的经营概况、用户画像等信息一目了然。

编后：目前袋鼠云的团队已经超过 150 人，80% 左右为技术人员。当下更多的资深技术专家，包括美国回来的人工智能博士和一批专注企业服务多年的行业专家都纷纷加盟袋鼠云，让数据产生价值。无论是数据可视化实时大屏Easy[V]或是日志大数据分析平台EasyLog，智能数据解决方案最终让更多的数据产生价值，让未来变成现在，袋鼠云这一朝气蓬勃的品牌团队正在朝向探索未来数据价值之路上越跑越快。

本文关注：日志大数据分析平台、数据可视化大屏、数据智能解决方案

转载或分享请注明来源标题《数据可视化大屏+日志大数据分析平台，数据智能解决方案改变世界》

日常一提数据分析和可视化，就想到这个工具操作要多简单易用，图表要多美多炫，然而总是忽略背后的数据支撑。

excel 几十万行数据就卡死崩，谈何数据透视表、可视化？近千万行的数据，订单提交数据库，sql sever处理要5分多钟，如果频繁入库/取数的话.....

要知道，为了支撑起业务人员的数据分析，以及日常不考虑计算逻辑和技术难度，IT人员也是要花费很大的心血和精力啊（心疼运维人员n秒）。

随着公司业务的发展，数据量变大是必然的事实。那么，数据部门要做分析，业务部门要看报表，要跑数据，要用BI，大数据量（千万级及以上）的分析，性能该如何优化？

这里借某公司的真实案例，来阐述一下方案。

----------------------------------

作为公司的科技部门人员，经常听到业务部门对自己使用的数据库各种吐槽：

竟然存放在mongoDB中啊，震惊(ΩДΩ)。

数据库慢慢熟悉了还好啊，但是现在每天的数据量越来越大，而且还在增加啊，增加大家很开心，然而数据库并不开心啊，简单的查询统计10多分钟还出不来结果，更不用说有稍微复杂点的统计分析了。

我天天找DBA优化啊，然而并没有什么水花。

数据量还在不断增长，到现在都上亿啦，全量查询统计根本出不来结果啊。

... ...

最终业务人员找到科技部门提需求要弄个BI系统给处理下。

对mongodb瞄了一大通，这就是个业务库。那直接对接mongodb自然不行，速度慢不说，mongodb挂了，分析系统也瘫了。自然就想到了使用中间库，emm mysql oracle 倒是有，可以跑调度抽过来，但是速度依旧不快呢，还要花功夫优化，性价比不高。公司有自己的hadoop平台，将数据抽过来再对接倒是可以，但是要花很大精力跑调度，而且这个数据库不能随意给这个业务部门提供，万一玩挂了可就得不偿失。假设有个具备离线数据存储功能的BI工具，岂不美哉。

于是将市面上有离线数据存储功能的BI工具翻了个遍。期望找到个性能好，可以支持大数据量数据分析的BI工具。

Tableau的hyper功能看起来OK，经不起实际使用，数据量过了亿，等了好久数据抽不好，pass；

其他某BI工具有mpp离线存储，看起来很棒，还能横向扩展，不错。抱有最大期望的用，结果数据量一上亿，直接崩了，崩了，pass；

另一个BI工具去看了看，咦，数据是放在vertica里面的......

后来，找到了FineBI的分布式计算引擎方案，拿的『定制的 Alluxio』作为分布式内存存储框架，内存存储有数据安全性的担心，所以持久化层存储用了HDFS。为了数据分析嘛，自然是列式存储的。计算核心则以熟知的Spark，加上自研算法来处理的。使用熟知的zookeeper整合框架，并用于调度通信。

分布式嘛，横向扩展自然不在话下。而列式存储、并行内存计算、计算本地化加上高性能算法，在FineBI中数据展示速度超快。有意思的是其计算本地化的操作，能减少不必要的shuffle，节省数据传输的消耗，提升数据计算速度。

以下记录利用FineBI4.1工具的系统建设过程。

一、需求分析

针对以上的需求，可以预估到，18年内，常用分析预计最大数据量会达到4.7kw，不常用分析会达到3亿到4亿（包含淡季），数据总的体量最多会达到100G。后面的情况难以预估，就需要系统可横向扩展节点。

二、方案描述

1.系统架构

根据官方推荐，将FineBI的web应用端与数据存储的分布式引擎放在一个机器上（处于安全考虑，也可以分开。这里不涉及太多部门使用，放一起即可），架构如下所示。

架构图难以理解的话，可以看看灵魂画手的杰作~

结合分布式引擎说明的技术原理，将各个机器再细分化各个组件的作用。

以上，将系统架构规划完成，即可具体完成系统。

2.完成从MongoDB取数

在使用BI工具对接MongoDB的时候，使用MongoDB的BI连接器。

感兴趣可以看：MongoDB Download Center

方案原理：mongodb是非结构的数据库，而要想BI来连接，通过建模的方式取表，拆表，建模来分析。通过MONGODB CONNECTOR FOR BI连接器的方式，使用mysql的JDBC驱动来获取数据。

实现过程：

第一步：安装MONGODB CONNECTOR FOR BI

从官网选择版本：MongoDB Download Center

第二步：生成DRDL文件

mongodrdl是生成该文件的主命令。通过添加monogdb的相关参数来获取其中的表生成drdl文件。从官方文档上我们可以找到生成DRDL文件命令的范式：

1 mongodrdl --host myhost.example:27017 \2 --username dbUser \3 --password myPassword \4 --db reports \5 --authenticationDatabase admin \6 --out schema.drdl

范式说明：

--host 是mongodb的ip+端口号，通常可为127.0.0.1:27017--username 是mongodb的用户，需具备相关的数据权限--password 是username的密码--db 是要生成DRDL的数据库实例名--authenticationDatabase 是指定创建用户的数据库。即username创建时被指定到的数据库名。--out 是DRDL输出文件定义。值使用.drdl的文件即可。

第三步：启动连接器，连接上monogdb

启动连接器的主命令服务是mongosqld，由于mongodb开启用户认证了（auth=true）。从官方文档上可知，连接器的启动需要使用-auth参数，再使用auth参数的情况下，mysql驱动来取数就需要SSLl加密认证。

所以第一步需要配置mongosqld的SSL认证；才能启动连接器来取数！！！！！！！！！！这一步神坑，也是踩了多少坑，才找到的解决办法。

此处认证关系是FineBi端的mysql连接与mongosqld的连接之间的SSL认证。在认证时，只需要配置单向SSL的认证即可（mongosqld认证FineBI的连接）。

（1）生成SSL认证文件

SSL认证文件通常采用openSSL来生成，先看看是否安装了openSSL；执行命令：

rpm -qa|grep -i openssl

如安装了会返回信息，未安装需要自行安装OpenSSL。

采用以下命令来生成证书：（由于是测试，就直接自己生成证书，密钥）

openssl req -newkey rsa:2048 -new -x509 -days 365 -nodes -out mongodb-cert.crt -keyout mongodb-cert.key

命令返回会让填写一些值，在后面填写即可。

一般情况下，文件会生成到你所使用的linux用户的要根目录下：比如我用的root用户，就到/root下面查找。

再使用以下命令，将key合到.pem的文件里。

cat mongodb-cert.key mongodb-cert.crt >mongodb.pem

将该文件移动/etc/ssl下面用于验证使用：

mv mongodb.pem /etc/ssl

（2）启动连接器&SSL

再来看官方文档，从所有的参数命令里面，找一找需要的参数；得出以下的范式，在bin目录下启动即可。

mongosqld --auth --sslMode --sslPEMKeyFile --sslAllowInvalidCertificates --defaultAuthSource --mongo-uri --mongo-username --mongo-password --mongo-authenticationSource --schema

说明：

--auth 是开启用户认证的参数，默认值是true--sslMode是开启SSL的标识，如开启可以选择值为“requireSSL”--sslPEMKeyFile是SSL认证文件，一般为.pem结尾的文件；单向认证的时候。--sslAllowInvalidCertificates--defaultAuthSource是mongosqld使用username指向mongodb的有权限的库，默认值是admin--mongo-uri是mongodb的host，一般为ip+端口号--mongo-usrname是drdl生成的用户名--mongo-password是drdl生成的密码--mongo-authenticationSource指定用户的创建库--schema是要连接的drdl文件。

注：一般还是要用nohup 的命令来生成，保证shell断掉，连接器依然可用。

第四步：启动FineBI连接到连接器上

启动FineBI，打开FineBI>数据配置>数据连接：添加数据连接选择mysql，配置如下：

连接名：mongodbURL：jdbc：mysql：//127.0.0.1:3307/test?ssl-key=/etc/ssl/mongodb.pem用户名：密码：注：URL：jdbc：mysql://ip+3307/dbname?ssl-key=xx.pem，后面ssl-key是ssl参数

点击测试连接即可。

过程坑点：mongodb的BI连接器神坑，官网文档不多，踩过了几脚坑。

（1）mongosqld按ssl认证开启成功，打印也不错，但是BI连接的时候，还是抛错1043 SQLSTATE: 08S01 (ER_HANDSHAKE_ERROR):this server only allows SSL xxxxx该抛错是mysql抛出来的，握手不良的错误。按道理SSL已经开启了，不应该是这样。后来查了mysql的文档，mysql5.5以上的版本才支持SSL；更换新的driver驱动，使用的是5.1.44完全没问题的。

（2）BI连接的时候抛错 handshake error: ERROR 1043 (08S01): error performing authentication: unable to authenticate conversation 0: unable to authenticate using mechanism "SCRAM-SHA-1": (AuthenticationFailed) Authentication failed.

该抛错的意思，使用“SCRAM-SHA-1”的认证方式，没有认证成功。SCRAM-SHA-1是指用户名密码的方式，这里看是不是用户名/密码错误，注意mongosqld启动时的使用的用户名/密码

（3）一定要开启SSL认证啊！！！

（4）期间有设计器无故死掉的情况，发现是由于内存不足导致。记得空闲内存要足够！！

三.系统效果

1.数据更新

（1） 单个表先全量抽取，之后每天对单表依据时间戳，做增量增加。其中有错误数据做增量删除即可。

（2）有些内部使用的实时性较高的表，设定每2小时更新一次，从上午9点到下午6点。直接从业务库抽取其实是有风险的，当时数据库压力大，抽取比较慢，因此这部分仅作为非重点用户需求场景。

2.数据展示速度

做了一个简单的依据时间的group by，时间在1s之内，翻页速度也很快。

至此，对接mongodb完成，一个用户可以随便玩的系统就好了。即使偶尔mongodb发疯修整，有离线数据在，也不担心业务部门来嚷嚷了。而且速度超快，体验很棒~

最后

如果你也在寻求一个高性能展示分析、数据分析的BI工具的话，不妨尝试下FineBI。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

在短时间内爆发大量数据，这时数据资源的采集、存储和分析和应用等，都是大数据行业的难点。行为数据、日志数据的处理，往往成为企业数据建设首先面对的瓶颈，这些数据不易保存，实时获取分析难度较大，但是数据价值却不可估量。

在大数据中，90% 以上的数据爆发来自于行为数据，就像现在的互联网、移动互联网、甚至在产生于物联网中用来描述人和物的每一分每一秒的变化的数据状态，这些都是行为数据。

行为数据能用做什么？

行为数据能做什么？有一个简单的例子 —— 分析访客行为的路径，我们拿一个网站的数据进行分析，针对网站的访客，我们可以通过分析其访问前期、中期、后期的行为习惯去了解哪些引流的渠道需要加强投入，以及使用这些来指导内容编辑和竞品研究分析工作。

实际上在做需求时，还有更多的细节要求如：对数据的实时性的要求比较高、要求数据的热点情报的准确性、与客户数据的协同分析等。

行为数据的处理方式

用户行为数据通常具备以下特征：

用户基数大；

高基数维度比较多；

数据量大；

时序的特征。

我们用到的高基维，其中有些维度都是上千万的高基维参数。用户行为数据的处理，在支持原始数据查询的同时，也要支持原始数据的聚合能力。

原始数据的聚合分析这块又分为两种，一种是过去常用的做法，通过一个固化的业务模型或者主题，提前计算好的数据，叫做物化视图。

第二种是基于原始数据存储之后，在实时查询的过程中进行多维交叉的计算，这个称为实时聚合。

在查询过程中对实时聚合的一个分析，也是大家在进行数据挖掘分析中共同面临的一个问题，就是针对海量数据。

首先，针对这些数据，需要快速的检索出所需要的数据的行号。其次，在获取数据所在位置之后，如何快速地把数据装载到内存里，最后是装载到内存之后通过分布式计算的方式，怎么去把我们的结果计算出来。

这些就是在做数据的实时查询过程中的需要具备的基本技术条件。

挖掘数据新的价值

面对海量实时行为数据的技术思考，主要是从四个角度来进行：

第一，必须要以原始数据存储。为什么要基于原始数据存储？因为在整个的数据分析阶段，可以细分为三个阶段。第一个就是传统的是 BI 阶段。第二个是数据的挖掘，第三个是数据的预测分析。

想解决这三个阶段的过程，以传统的方法是建一个数仓，基于数仓来实施的时，只能面向比较固化的业务报表模式，产生一些数据的分析结果，得到决策结果。如果想做数据挖掘时，基于固化业务模式计算的结果的很难满足数据挖掘需求，所以必须从初始阶段基于原始数据去提取其特征。

基于固化的的业务报表模型所获取数据计算的结果，对数据挖掘分析的价值不高。存储引擎必须以原始数据进行存储，才能既满足 BI 阶段的需求，又可以解决未来数据挖掘与数据预测分析的需求。

第二，要满足实时多维的查询，是为了在数据基于原始数据存储之后，去做到聚合结果能够满足用户对海量增量数据快速查询的需求。

第三，快速响应需求，在企业内部，其实数据部门的需求量是最大的，各个业务部门的需求都往数据中心提，所以数据部门必须去解决好如何快速地响应业务需求。

第四，数据的探索分析，以往把数据，按照固化的业务报表模式所获取的结果，做二次分析的空间量比较小。所以必须要基于原始多维的数据进行数据的探索，挖掘数据新的价值，而不是按照已有的固化的业务模式，只是生产出一些固化的业务模型的数据。

平台架构

数果现在基于之前做过的一些技术的预言跟验证，自行研发了一个基于 Hadoop 加速引擎，称为 Tindex。之前我也在网络上做过万亿级日志与行为数据存储查询技术剖析http://infoq/cn/articles/trillion-log-and-data-storage-query-techniques 的文章 ，也讲解了 Tindex 是如何实现的。Tindex 的实现主要基于三点，第一点基于索引，第二点基于类似存储的方式，第三点做了分布式内存计算的框架在 Tindex 中，使之能够支持数据的实时的多维分析的能力。

基于加速引擎这块，在其上层做了一个适配层，有 SQL引擎。SQL 引擎支持 SQL 语句和表达式，还有大数据生态技术，目前已经是完全支持。基于适配层，来做不同的行业应用。这是数果整个平台技术架构的一个图。

平台特性

平台的特性方面，支持海量增量数据实时接入。在数据接入这块，现在提供可视化埋点，跟文件、MR 的一些数据的采集，就像我们目前在做的单进程的接入式，基本上在 3 万以上，从数据的产生，到数据显示、出现查询结果，在 5 秒以内即可实现。

第二个特性，基于明细数据的存储与预聚合的存储分别去搭建。为什么不仅要基于原始数据存储，还需要预聚合存储？因为其有两种不同的需求。第一个是面向固化的高频查询的数据，我们可以基于预聚合存储的方式，去查询其周期跨度比较长的需求，一年两年都可以进行查询。但是基于近半年或者一年的数据需要进行深度数据探索分析的，便可以基于原始明细数据做实时聚合分析。还有在基于原始明细数据进行分析的时候，他会更佳灵活。

第三，海量数据中怎么去实现快速检索，是基于搜索引擎的索引技术进行改造的。但是在筛选方式上，目前只能支持时间筛选、文本筛选和数值筛选，例如文本筛选中支持分词与模糊匹配，数值筛选中，数值的分组和数值的范围这些均可支持。

这个展示的是灵活多维的分析，在这个界面中，左边的这一列中是基于原始明细数据产生的所有的维度，可以根据权限去进行显示。而在指标方面通过界面拖拽进行多维实时分析，选择想要的数据分析结果，进行可视化的展示，可以自由地数据探索。因为数据是基于原始明细数据的存储，所以不需要提前预计算。可以在界面上进行任意数据交叉分析，去了解数据的分布态是非常便捷的。

通过指标的灵活定义，来实现实时响应的业务需求，这个指标定义这块有几个指标，一种叫单指标，即按照某一个维度进行一个聚合计算，通过界面可以简单、快速完成。另一种叫复合指标，需要进行一些四则运算，可以通过这个界面定义出来。

在指标这方面还有比较复杂的，需要通过多个维度进行定义的，可以通过一些表达式，进行快速的定义，定义完成后就通过界面，直接看到结果，获得图形显示，进行数据分析。

支持实时监控与跟踪告警，在多维分析界面中把分析结果定义出来后，可以直接形成一个实时监控大屏，不需要重新开放，多站完成各类需求。

最后一个也是最重要的一个特性，是支持二次的开发。数果的平台提供普通类查询，有 Timeseries、TopN、select、groupby、firstN、scanQuery。也提供像用户分组，用户漏斗查询，用户留存查询这类高级查询，还支持多种条件的过滤，像日期范围、数值范围、地理坐标范围，还有字符串的精准匹配。还支持多种聚合的方式。如统计，分组，还有聚合再聚合，这类业务场景，也是在业务需求中经常出现的。

基于平台我们做了什么？

基于这个平台实现了指标任意定制，因为数据是基于原始明细记录存储的，所以指标的定制这方面，不需要提前预计算，直接通过界面，通过一些表达式便可以轻松实现。

维度的自由的筛选，可以通过界面，自由地拖拽数据，就可以完成交叉分析。

基于平台提供用户行为分析模型，例如实时的用户分群，可以通过界面快速的完成。再例如实时的路径分析，实时的流程分析，实时的漏斗分析。提供了一个智能算法模型，相当于在这个模块实现了，将机械学习跟深度学习的算法吸收进来，跟我们的平台打通，就可以实现通过界面的简单拖拽，来完成大部分算法的模型。用户也有一些固化的模型，像用户的扩群，用户 RFM 细分的模型，用户流失预测的模型。基于这方面也提供了一个实时大屏的模块，能够由用户自由拖拽完成其实时监控的需求。

触脉推荐阅读：电商从来都不是一个缺乏新技术应用的战场，尤其是大数据分析的应用。而现在我们面临的是实时数据分析和快速应用的挑战，消费者需求的不断变化需要我们及时掌握并做出调整，因此，本文重点来说明实时数据分析对电商的重要性。

如今，预测分析在商业智能领域变得越来越流行。营销人员和企业正在迅速采用实时数据分析，以保持领先的竞争，并取得成功。大数据分析已经迅速成为数据驱动业务的一个组成部分，并在使品牌和企业更容易在用户运营中发挥重要作用。企业建立的内容传播和推广活动受到来自各种渠道的影响越来越大，尤其是关于其受众、其用户的在线行为和个人喜好的数据洞察。

一般我们用来分析的数据有效期非常短暂，只有在创建或收集数据时才是最相关性的。在这个迅速发展的数据第一的企业行业中，在线的数据依然具有最大的相关性，而一天甚至两天前的数据被认为是不相关和过时的。

今天的企业只能通过利用实时收集的数据分析获得洞察力来赢得成功。

在当今的行业中，客户正在快速地习惯于在越来越短的时间跨度内访问所有内容。这是接近即时访问的时代。这使得电子商务和基于网络的企业必须时刻准备就绪，能够确保更快的响应时间，更快的周转时间尽可能接近实时。在线受众希望一切尽在掌握之中，为了在快节奏的生态系统中保持相关性，企业必须努力寻找吸引受众的方法，或者冒着输给竞争对手的风险。

1、实时定制社交策略

良好的客户体验是建立在实时参与的坚实基础上的。随着社交媒体的出现，企业必须不断加倍努力才能保持领先地位。因此，社交媒体可以使电子商务企业能够在客户查询和关注发生时及时处理它们。

显示实时参与社交媒体重要性的一个相关示例是社交媒体页面监视的标准：页面响应时间。社交媒体页面用一个徽章来积极地评估企业的响应时间，该徽章告诉页面访问者他们响应消息的速度有多快。

让客户或访问者积极参与到您的社交媒体页面中，使他们与您的品牌保持联系，并增加客户的幸福感或满意度。

最近由社会舆情分析公司 Wayin 的一项调查显示, 78% 的受调查的营销商去年获得了至少50% 的 ROI, 这得益于他们使用实时预测分析进行市场投资。

2、实时机会正在迅速增加

《福布斯》的一项调查还显示，实时流媒体应用Meerkat和Periscope因其提供的实时发布功能而受到营销人员的欢迎。

各种活动的现场直播正迅速在网上受众中流行起来。Facebook已经准确地挖掘了流媒体直播的潜力，以建立和保持对全球范围的时事活动的兴趣，无论是竞选活动、皇家婚礼，还是图书发布会。

这些参与机会有资格成为高质量的品牌内容，并主要关注时事和实况活动，如超级碗。这些现在几乎永久地在营销人员的待办事项清单上。这种趋势正在迅速流行，并且很明显，响应性运动和交互式消息正在迅速成为在线受众之间选择的通信方法。

跟踪和分析实时更新的机会为电子商务和其他企业提供了大量的机会。

3、实时数据提供了更强的洞察力

实时数据或现场数据在网络营销中极其重要。实时数据帮助营销人员了解其业务和客户行为的当前影响，无论是网站流量、社会知名度还是实时广告活动。实时洞察力可以积极地影响企业的客户获取或关系管理技术。

实时数据的使用弥补了在线和离线购买体验之间的差距。有实体存在的电子商务商店正在迅速采取措施为顾客实现无缝的店内体验。利用蓝牙和GPS的连接性，一些实体店零售商正在积极地收集关于顾客在店内行为的数据，以便向他们提供关于商店商品的个性化报价和交易。

实时预测分析对于在线平台上的电子商务业务的成功越来越重要。通过挖掘实时分析的潜力，企业可以制定高度有针对性的客户参与策略，提供增强的产品推荐；甚至通过积极鼓励潜在客户完成交易来减少购物车抛弃的发生率。

分析实时数据还可以帮助企业做出更具战略性的营销决策，并且可以改变整体业务性能。

当电子商务企业与相关历史数据密切比较分析实时客户数据以衡量过去的交易或购物习惯时，它们可以有效地向客户承诺跨品牌的个性化体验。

一些电子商务平台正在迅速意识到需要利用实时和预测分析能力来更好地理解它们捕获的客户数据。

如果您希望重新定义您的电子商务业务，并在新的、尚未开发的平台上获得成功，那么请保持关注我们的更新，在这里了解更多实时和预测性电子商务分析相关消息。

文|小天文章源自：起点学院学习联盟

在小白们眼里，大神们的数据分析报表基本上是这样的……

要么就是像这样的……

而大部分人，差不多是这样的……

啊多么痛的领悟……

怎样才能又快又好地做出一份高颜值的数据报表呢？带着立志要把这样的图表从癞蛤蟆脱胎成白天鹅的坚定和悲壮，这里搜集了5个笔者之前用过，用户评价不错，用起来还顺手的可视化数据平台。

话不多说，直接上正文。如果你也有推荐的平台，欢迎留言分享~

-1-Echarts

没想到这个第一次用就惊艳到我的产品竟然是国产，而且还来自百度，简直堪称良心。先上几张用Echarts制作的效果图。

貌似很多小伙伴喜欢用Echarts制作地图类的可视化效果……毕竟酷炫……

除了这些惊艳的地图，Echarts同样可以运用于散点图、折线图、柱状图等这些常用的图表的制作。

如果你需要展示实时变化的数据，相信Echarts里的动态接口会对你十分有帮助。

Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

-2-Highcharts

这个也是很多小伙伴在使用的一个平台。完全不用担心找不到参考的样图，因为已经有很多中国区的用户在上面更新并维护着很多实例，你往往能从这些丰富的例子找到类似的表达样图。

它的图表类型自然也是很丰富啦，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

Highcharts对非商用免费，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用Highcharts系列软件。Highcharts还有一个好处在于，它完全基于HTML5技术，不需要安装任何插件，也不需要配置PHP、Java等运行环境，只需要两个JS文件即可使用。

-3-帆软报表（FineReport）

FineReport的可视化效果虽然没有上面两种那么酷炫，因为定位是报表软件。但是赢在操作相当简易，不会上面那些复杂的代码也没关系。它采用类似于Excel的编辑器，只需要点选拖拽等操作，拖动数据列绑定至对应单元格，简单设置就可以在web端查看数据展示。

目前，它有普通报表、聚合报表和决策报表三类报表设计模式，基本可以满足企业各类日常数据分析的情景需求。

数据的可视化与交互效果也很不错。最牛逼的可以做高大上的动态报表

还有一个比较强大的地方，就是它的数据填报。区别于传统意义上只能做数据展示的报表，FineReport允许用户对数据库的增删改。而且，它填报报表的流程非常简单，只要四步：报表设计、控件添加、设置填报属性和填报录入，这样，填报工作就能轻松搞定啦~

-4-数说立方

数说立方是大数据应用与服务提供商“数说故事”旗下一款面向数据分析师的在线商业智能产品。在数据的可视化呈现方面，操作比较简便，即使是非数据分析的专业人员，也能轻松实现。

同时，它的实时数据可视化引擎也能让使用者可以第一时间获得数据的可视化反馈，直观地了解到数据的变化情况。

-5-PowerBI

PowerBI是微软发布的一款可视化BI工具，类似Excel升级版的大表哥。一改以往excel需要数据透视表，写大量函数的复杂特点，这款工具拖拖拽拽操作起来十分简单。

导语：实时分析是企业在需要时使用所有可用企业数据的能力。实时分析的一个重要特征是，可用的系统和设置应该能够根据收到的数据快速生成分析，理想情况是在生成数据的一分钟内。实时分析的一大优势是数据的新鲜度和上下文。组织可以通过访问实时分析获得很多好处，纯粹是因为它们与市场现实密切相关。

要为企业开发商业端到端应用程序，需要捕获和存储所有传入的传感器数据。需要对大量数据进行正式组织和综合，以实时获得真正的意义。 需求是提供可以捕获各种数据的应用程序，包括文本格式。 使用批处理分析数据对于实时数据来说不是一个可行的解决方案。当传入数据速率请求低于批处理速率时，这很有效。利用社交媒体，移动设备和传感器等新的数据来源，批处理过程无效。

由于实时分析的即时性，它可以提供优于其他分析方法的优势，包括：以透明的仪表板形式共享信息，监控自定义行为，有效的决策机制，必要时立即更改或修复。实时是指在数据到达时处理数据的能力，而不是稍后作为批处理的一部分处理数据。因此，主要的意义在于数据处理是在当下而不是在未来发生的。实时大数据分析可以定义为在正确的时间做出更好的决策和执行有意义的操作的能力。它是关于组合和分析数据，以便可以在正确的时间和地点采取正确的行动。本质是从不同的数据中产生价值。毋庸置疑，最终结果是增加销售额并降低营销成本。

有两种类型的实时分析：按需实时分析，这是一种被动的方法。它等待最终用户的查询以处理请求，然后提供分析。例如，网络分析师监控网站流量以避免网站可能发生崩溃。持续的实时分析，这是一种积极主动的方法。它会实时警告用户持续更新。例如，通过网站上的各种可视化表示来跟踪股票市场。大数据处于充满可能性和机遇的关键时刻，但与此同时，它仍然具有挑战性。实时分析的目标是将大量数据转换为客户和业务洞察，以使您的公司向前发展。小时的需求是充分利用大数据和分析，并将这些作为解决业务问题的解决方案。实时连续分析可以解决这些问题：捕获实时和历史传感器数据并进一步分析，评估正常和错误行为的模式。

使用案例：运输业在运输行业，卡车和拖车配备了传感器和全球定位系统（GPS），不仅可以跟踪路线，还可以及时交付。目标是优化导致最快交付的路线。通过报告安全驾驶技术和燃油经济性习惯，这些传感器更进了一步。这些实时分析不仅可以确保及时交付，还可以节省数百万美元的燃料成本。物流公司已经消除了路线浪费和节约能源，当然客户对准时性能的改善感到满意。随着社交媒体网站作为企业与整个社区之间的沟通渠道的快速增长，该模型成为与客户联系的互动和简单的渠道。您可以使用Web分析来集成和分析数据，以建立与客户的个性化关联。实时网络分析可以解决这些问题：社交媒体分析预测最终用户模式，通过强化最终用户感兴趣的产品来增强销售，整体客户观点以吸引利益水平。

在制造业中，公司一直在忙着努力降低从头到尾处理产品的成本。随着实时分析的出现以及传感器和其他基于机器的通信所带来的大量大数据，公司正朝着流程自动化活动的方向前进，并减少对手工劳动操作的依赖。毋庸置疑，自动化过程仍需要人为判断。从全球公司的角度来看，目标是改善大数据驱动的流程自动化并从整体上接受它。为了进一步解释，过程自动化驱动器允许您集成制造工作流程，以便在美国完成流程可以触发位于印度的工厂的后续工作流程。最好的部分是这一切都是由数据和分析驱动的。

让我们设想一个组件在石油钻井中比预期更早失败的情景。这对于企业而言可能是昂贵且耗时的任务，因为可能无法实现所需的工具或人员来实时解决问题。此外，同时维护所有零件或工具的库存同样困难，因为这可能导致不必要的成本。使用实时连续分析，您可以预测设备故障并提前采取适当的纠正措施。因此，通过允许您执行预防性维护而不是承担紧急维修的成本，这可以节省大量的运营成本。

我们是一个地球村的一部分，在这个村庄里，一切都是分散的，但却很紧密。连接我们的共同元素是不断变化的数据。为了利用数据的力量，实时分析越来越受欢迎，因为我们已经成为一个实时社会。数据一直很有价值，但现在它已成为一种商品。如今，人们希望能够立即访问他们正在寻求的信息，并希望尝试使用应用程序来提供新的见解，使他们能够决定下一步使用数据做什么。在我看来，最大的挑战不仅在于大量数据，还在于如何以解决方案的形式将其作为有价值的信息。

总结：挑战是巨大的，业界一直在寻找解决这些严重问题的解决方案。前进的方向是使用历史数据和新的分析模型来设计解决方案以解决业务挑战。请记住，无论何时打算将实时分析应用于大数据，最重要的是“这些数据的目的是什么？”如果您使用的是实时数据，请仅测量对企业重要的内容而不是一切都是如此。