数据化运营越来越流行，很多企业都忙着运营起一个个大大小小的项目。但是还是有很多企业的IT人员没能把项目做好，问题漏洞百出。其实做项目首先的一步，就是选好一款适用的大数据可视化工具。俗话说得好，要先工其事，必先利其器。一款好的大数据可视化工具会更有利于数据可视化分析项目的后续开展。那么，大数据可视化工具该怎么选呢，接下来我们来看看。

市面上各式各样的大数据可视化工具有很多，有的是自助式的小型BI，有的是比较复杂的高端BI。项目有大有小，当有的项目没那么复杂，如果配上比较高大上的产品，就会使得项目不适应。

几乎所有的大数据分析工具都具备一些基本性的功能，比如数据转换和存储架构(例如，Hadoop和Apache Spark)。但是，在大数据分析工具产品的市场上其实也会有很多细分的市场，故而您企业必须针对您的技术战略实际所涉及的领域采购产品。这些具体的领域包括流程挖掘、预测分析、实时解决方案、人工智能和商业智能仪表板。

其实在企业一开始引入BI产品，直到做项目之前，需要弄清楚企业真正的业务需求和问题，才能选择到能够有效解决这些特定问题的产品。

大数据和高级分析是复杂的，但是企业使用的大数据可视化工具，要易于获取、易于阅读。

快速可视化产品，其操作必须非常的简单，而且足以进行深入的分析，简单易用的大数据可视化工具让商业用户们得以轻松的找到适当的数据，然后自行生成可视化的产品。这就将其分析团队解放出来，以便能够执行更为高级的分析任务。

除此之外，最为重要的是，切记不要为非技术业务用户提供程序员级别的工具。他们操作起来会感到力不从心，可能会诉诸使用他们以前的工具，而这些工具并不能真正的奏效(否则，你企业就不会大费周章的实施大数据分析项目了)。

在一个项目的实施中，当然还有很多别的影响因素。但是，工具的选择是最基础的，同时也很关键。所以，如果可以的话，请务必为企业的业务分析团队提供简单高效的BI工具，以便能够更好的用于数据发现以及数据可视化分析。

大数据仅仅是因为“大”吗？

随着智能硬件的快速普及和互联网的迅猛发展，您的每一次搜索点击，都将成为大数据的一部分。数据的规模，也呈现几何级数的增长，2016年市场调研机构 IDC预计，未来全球数据总量年增长率将维持在50％左右，到2020年，全球数据总量将达到40ZB(Zettabyte,万亿GB)。其中，我国数据量将达到8.6ZB，占全球的21％左右。

然而，数据量之大仅是大数据的一个基础特征，行业中将大数据特点归纳为4个” v”，即多样性(Variety)、体量(Volume)、速度(Velocity)和价值(Value),表示多样化的数据源（文本、图片、视频等）、巨大的数据量、处理速度快、且价值密度低，需通过人工智能算法进行深入挖掘。

上海藤榕作为钱宝的“大脑”，数据来源十分丰，诸如用户的基础数据、微商业务系统的交易信息、社区媒体平台的 U(User Generated Content)、钱宝胛 P移动端的 LBS(Location-Based Service)信息、共享单车的状态数据等，涵盖表格、文本、图片及视频等各种数据类型。目前日增数据量约500GB；仓库数据总量己经超越 PB级别，数据记录达百亿规模，且每年以3的速度递增，是名副其实的大数据平台。

数据可视化如何实现？

数据给人的直观感受千差万别：有时冰冷枯燥，让人心生畏惧、摸不到头脑：有时生动有趣，让人一目了然，恍然大悟。之所以能达到后一种效果，数据可视化技术发挥着重要作用，让用户在解读数据背后商机的同时，享受视觉表达之美。

数据可视化本身的应用价值、丰富性和表现力，需要参与者有强大的专业背景支持。通过动态或者静态的可视化图形，让用户能洞察(Insight)业务、发现关联，理解更深层次的规律和价值。

我们基于用户对数据可视化的不同目的，随之调整数据的视觉表达形式，例如：

跟踪数据。需考虑实时性及计算能力，形成一份不停变化、可读性强的图表。

分析数据。强调数据的表现形式，生成一份可检索的交互式图表。

发现关联。需要生成一份分布式的多维图表。

理解数据。利用多色彩、动画等形式，创建生动、清晰、有吸引力的图表。

例如，我们通过数据墙、业务运营支撑系统以及线下报告的方式，为用户提供清晰的图表，支持或指导其业务方向的调整。

日前，中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会发布了《2017年中国大数据可视化市场研究报告》。这份业界首次发布的大数据可视化报告认为，2017年中国大数据可视化市场收入规模为12.7亿元，年增长率为45.2%。2017年中国大数据可视化市场份额排名第一位的是恒泰实达，占比7.7%，收入增长最快的厂商是东软。

大数据可视化是利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。大数据可视化是大数据产业链中的基础支撑产业，在大数据行业中，数据可视化起到的作用是更好的分享和传达数据信息，更多的服务于态势监控和综合决策，是技术和艺术充分结合的领域。大数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。

日前，中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会发布《2017年中国大数据可视化市场研究报告》，报告显示，2017年中国大数据可视化市场收入规模为12.7亿元，年增长率为45.2%。

2017年中国大数据可视化市场规模

目前，大数据可视化成为大数据行业热点，市场处于快速增长初期，可视化工具种类越来越多，应用需求的多样化催生了从场景衍生出来的定制化服务。

大数据可视化市场的厂商主要来自这几类：一类是提供商业可视化产品的软件服务商，国内有帆软、永洪科技、东软、四方伟业、SMARTBI等，国外有SAP BO、IBM Cognos、Oracle BIEE、Microsoft BI 等传统商业智能软件服务商。第二类是新兴的可视化产品提供商，国内有恒泰实达、数字冰雹、海致BDP等，国外有Tableau、Qlik、Microstrategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，他们的大数据平台的可视化基本都是自己设计开发，同时也售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。

2017年中国大数据可视化市场份额排名第一的是恒泰实达

《2017年中国大数据可视化市场研究报告》显示，2017年大数据可视化市场排名第一的是恒泰实达，占比7.7%，第二是数字冰雹，占比6.3%，第三是东软，占比5.1%，其后依次是帆软占比4.9%，四方伟业占比4.7%，永洪科技占比3.3%，海云数据占比3.2%，海致BDP占比3.1%。

2017年中国大数据可视化市场份额

2017年中国大数据可视化市场增长最快的厂商是东软

随着大数据产业的蓬勃发展，大数据可视化引起了众多厂商的关注，2017年大数据可视化领域增长最快的厂商是东软，增长率超过100%。东软 SaCa DataViz 作为新一代可视化产品不仅具备海量数据的秒级分析能力，而且能高效地实现数据的高端展现。从一组杂乱无序的业务数据，到带有价值信息的炫酷图册，整个探索与制作的全过程都非常方便、快捷，同时又在发展中持续创新，在大数据量计算、3D可视化方面不断突破，目前已服务于政府、金融、医疗、制造、教育等10 余个行业，拥有众多典型客户。同时，东软数据可视化SaaS服务也在飞速发展，在线数据可视化云服务"图表秀" 以在线图表制作为切入点，目前已经累积百万级用户。

2018年中国大数据可视化市场还处在竞争非常激烈的阶段，市场份额比较分散，厂商占比都不高，份额差距不大，哪家厂商能在客户需求把握、用户体验、视觉表现等方面建立自己的竞争优势，就能在群雄逐鹿的市场中进一步扩大份额。

大数据可视化共享平台，一方面，作为“一站式云计算服务来源”，政府各机构可以集中购买大数据处理各种云服务产品，节约大量IT预算。通过应用程序商店，采用成熟的软件产品，规范与整合了部门业务流程，减少部门重复的软件开发成本，减少各部门在硬件、软件和运行方面的开销，提升大数据信息技术方面的整体安全性。另一方面，IT企业可以通过网站向政府提供专业化的IT服务，并通过竞争提升服务能力和服务质量，与大数据运营形成良好互动，可有效地推动政府的云战略，也有利于提升整个国家的信息化水平。

结束语：为什么要共享大数据？1、唤醒数据价值；整合分散于各个政府部门、科研院所、行业部门的数据资源，逐步向社会数据需求方开放，提升科技资源的公共服务能力。2、提高数据运行效率；社会治安曾是纽约市政府最为棘手的问题，每年要花费大笔的财政经费在警察和警务装备上。而随着详尽犯罪记录数据的开放，不仅开发出了提示公众避免进入犯罪高发区域和提高警惕的手机应用，从而降低犯罪发生的概率；而且还能将犯罪记录信息和动态交通数据结合起来，起到指导调配警力的作用。 3、 激发巨大商业价值；美国将原本用于军事的卫星定位系统GPS向公众开放使用，从汽车导航、精准农业耕作到物流、通讯等，北斗卫星系统开放后不仅服务了生产和生活，同时还创造了大量就业岗位。据现阶段数据估算，仅美国国内就有约三百万的就业岗位依赖于GPS卫星引导系统。

同 享 网 络 安 全

共 治 网 络 社 会

广州网警巡查执法

数据可视化之初级篇

零编程工具

1. Tableau

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形，表格和地图。 它不仅提供了PC桌面版，还提供了服务器解决方案，可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行，Pandora和Citrix等企业

2. Infogram

Infogram的最大优势在于，让您的可视化信息图表与实时大数据相链接。只须三个简单步骤，您可以选择在众多图表，地图，甚至是视频可视化模板中进行选择。 Infogram支持团队账号。

3. ChartBlocks

ChartBlocks是一个易于使用在线工具，它无需编码，便能从电子表格，数据库中构建可视化图表。整个过程可以在图表向导的指导下完成。您的图表将在HTML5的框架下使用强大的JavaScript库D3.js创建图表。你的图表是响应式的，并且可以和任何的屏幕尺寸及设备兼容。 您还可以将图表嵌入任何网页中，分享在Twitter和Facebook上。

4. Datawrapper

Datawrapper是一款专注于新闻和出版的可视化工具。华盛顿邮报，卫报，华尔街日报和Twitter等媒体都使用了这一工具。Datawrapper非常容易使用，不需要任何编程基础。你只需要上传你的数据，便能轻松地创建和发布图表，甚至是地图。Datawrapper提供了众多的自定义布局及地图模板。

5. Plotly

Plotly帮助你在短短几分钟内，从简单的电子表格中开始创建漂亮的图表。Plotly已经为谷歌、美国空军和纽约大学等机构所使用。 Plotly是一个非常人性化的网络工具，让你在几分钟内启动。如果你的团队希望为JavaScript和Python等编程语言提供一个API接口的话，Plotly是一款非常人性化的工具。

6. RAW

RAW弥补了很多工具在电子表格和矢量图形（SVG）之间的缺失环节。你的大数据可以来自MicrosoftExcel中，谷歌文档或是一个简单的逗号分隔的列表。它最厉害的功能是可以很容易地导出可视化结果，因为它和Adobe Illustrator，Sketch 和Inkscape是相容的。

7. Visual.ly

Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，用户包括了VISA，耐克，Twitter，福特和国家地理等。如果你想完全外包可视化文件给第三方。你可以使用非常简化的在线流程：你只需描述你的项目，服务团队将在项目的整个持续时间内和你在一起。 Visual.ly给您发送所有项目关键点的邮件通知，也将让你不断给出反馈。

数据可视化之开发展篇

JavaScript库

8. D3.js

毋容置疑D3.js是最好的数据可视化工具库。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是开源工具，使用数据驱动的方式创建漂亮的网页。 D3.js可实现实时交互。这个库非常强大和前沿，所以它带有没有预置图表也不支持IE9。

9. Ember Charts

Ember Charts – 顾名思义是一种基于Ember.js框架和使用d3.js的可视化工具。Ember Charts以绘制时间序列图，柱状图，饼图和散点图为主。它非常优易于扩展。同为Ember.js开发团队，Ember Charts聚焦于图形互动性。它有极强的错误处理能力，当你遇到坏数据时，系统也不会崩溃。

10. NVD3

NVD3运行在d3.js之上, 它可建立可重用的图表组件。该项目的目标是保持所有的图表整洁和可定制性。 NVD3是d3.js之上的简单的接口，保持了d3.js的所有强大功能。 NVD3由Novus Partners前端工程师开发和使其保持了图表技术洞察力。

11. Google Charts

Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器。所有您将创建的图表是交互式的，有的还可缩放。Google Charts是非常人性化和他们的网站拥有一个非常好的，全面的模板库，你可以从中找到所需模板。

12. FusionCharts

FusionCharts是最全面的JavaScript图表库，包括90个图表和900种地图。如果你不是特别喜欢的JavaScript。FusionCharts可以轻松集成像jQuery库，Angularjs和React框架以及ASP.NET和PHP语言。 FusionCharts支持JSON和XML数据，并提供许多格式图表：PNG，JPEG，SVG和PDF。

13. Highcharts

Highcharts是一个JavaScript API与jQuery的集成，全球最大的100家公司中有61家正在使用它。图表使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型：Highstock和Highmaps，并且还配备了一系列的插件。你可以免费使用它，而如果你想建立付费的应用，只须支付少量牌照费用。此外，你还可以使用Highcharts云服务。

14. Chart.js

对于一个小项目的图表，chart.js是一个很好的选择。开源，只有11KB大小，这使得它快速且易于使用，它支持多种图表类型: 饼图，线性图和雷达图等。

15. Leaflet

你是否专注于专业的大数据解决方案？无需饼图和条形图？Leafleft 基于Open Street Map数据，使用HTML5 / CSS3绘制互动式可视化图。您可以使用他们的扩展插件库添加热点图（heatmaps）和动画标记。 Leaflet 是开源和只有33 KB大小。

16. Chartist.js

Chartist.js的开发社区一直致力于打败所有其他JavaScript图表库。它使用了Sass的个性化风格，它的SVG输出是响应式的。

17. n3-charts

N3-charts是一种基于AngularJS框架的工具。它建立在D3.js之上，帮助您创建简单的互动图表。 N3-charts是一种小型化的图表工具，不适用于大型项目。

18. Sigma JS

Sigma JS 是交互式可视化工具库。由于使用了WebGL技术，你可以使用鼠标和触摸的方式来更新和变换图表。Sigma JS同时支持JSON和GEXF两种数据格式。这为它提供了大量的可用互动式插件。Sigma JS 专注于网页格式的网络图可视化。因此它在大数据网络可视化中非常有用。

19. Polymaps

Polymaps是一款地图可视化一个JavaScript工具库。 Polymaps使用SVG实现从国家到街道一级地理数据的可视化。您可以使用CSS格式来修改你的样式。Polymaps使用GeoJSON来解释地理数据。它是创建heatmap热点图的最好的工具之一。您创建的所有地图都可以变成动态图。

20. Processing.js

Processing.js是一个基于可视化编程语言的JavaScript库。作为一种面向Web的JavaScript库，Processing.js是您能够有效进行网页格式图表处理。这使得它成为了一种非常好交换式可视化工具。 Processing.js需要一个兼容HTML5的浏览器来实现这一功能。

来源：数据分析

精彩回顾

图解：建设网络强国，习近平在网信工作会上提出这些重大论断！

朋友圈这样发很危险！但这些事很多人不知道……

他们正在微信朋友圈窃取你的信息，赶紧拉黑！

偷信息！偷钱！手机有这10个APP赶紧删！

大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。

大数据可视化工具的市场竞争格局

海比研究认为，大数据可视化工具的厂商主要来自四类：一类是提供商业智能可视化工具的软件服务商;第二类是新兴可视化工具提供商;第三类是互联网巨头公司;第四类是互联网大数据服务商。

提供商业智能可视化工具的软件服务商，国内主要代表为帆软、永洪科技、四方伟业、SMARTBI等，国外主要代表为SAP BO、IBM Cognos、Oracle BIEE、Microsoft BI等。

从综合情况来看，国外厂商相对具有技术过硬、功能强大的优势，但在具体落地国内应用时，普遍存在使用复杂、价格高、服务支持不到位的问题；而国内厂商则恰恰相反，在价格、服务以及产品易用方面具有优势，而在技术研发实力方面还有待提升。

在这些厂商中，以帆软和永洪为代表的敏捷BI厂商，其投入成本较低，呈现出平民化、易于操作的特点，企业客户尤其是大量中小企业客户，可以通过较低的投入享受到专业的大数据服务。而相对应的SAP、IBM、Oracle等国外厂商，因为产品较重、使用门槛较高、价格昂贵，只有大型企业客户才会使用。

新兴的可视化工具提供商，国内厂商主要代表有数字冰雹、恒泰实达等，国外主要代表有Tableau、Qlik、Microstrategy等。

这些厂商的产品均定位于企业级应用而非部门级应用，数据分析平台内置高性能数据仓库，同时提供与外部数据对接的各类接口，可独立部署，也可以与客户原本的数据仓库进行对接。在可视化展示部分具有展示内容主题化、展示画面风格统一化、展示效果直观化和简单化的特点。

此外，这些厂商在实施周期、集成能力以及咨询能力方面均有优势。由于其产品性能稳定、可配置性高，客户群体主要为党政军及大企业客户，如各地级市政府部门、军工企业、军事科研院所及作战部队等。

来自互联网巨头公司的可视化厂商，主要的代表有网易有数、百度图说、阿里云数加等。

这些互联网厂商从云端切入大数据、BI市场。在互联网行业，数据的沉淀周期更短，通常产品一上线就会有相应的网站数据分析、用户转化路径分析等基本的数据分析需求。数据在云端，无论是从数据获取、处理、分析的便捷性、应用成本还是解决方案的架构等各个方面考虑，都具备了很强的操作性和可行性。

业务云端化是趋势，数据云端化也是趋势，数据使用云端化也是趋势。互联网巨头的生态体系也是一个不可忽视的重要因素，在数据市场上，用一个生态相较于单个厂商，在技术实力、安全性和稳定性、价格、服务支持、品牌地位等方面均有绝对优势。

互联网大数据服务商，主要以海云数据，友盟等为代表。

这些互联网大数据服务商，能够提供快速有效的处理海量、密集的多源异构数据的解决方案。在提供多行业、多场景、具备通用性综合解决方案的同时，不断构建自身大数据生态平台。目前，这些厂商也在积极布局人工智能，通过AI能力服务平台赋予端用户，落地企业业务。

纵观整个市场，大数据可视化工具产品可谓百花齐放，不同背景的厂商在这个概念下提供着自己的产品和服务。目前，国内可视化工具市场仍处于发育阶段，但如果能针对复杂的数据分析场景，为各种规模的企业提供灵活易用的全业务链的大数据分析解决方案，满足不同行业的企业用户需求，有能力覆盖多个行业，那么这些厂商就能够引领潮流发展。

四大角度剖析大数据可视化工具的现状

现在，企业更加注重分析数据、发现问题、找解决方案、实施交付的闭环实现，这就需要提供可视化工具的厂商能够在平台功能和服务能力方面实现双重支撑。除了提供有丰富功能的数据分析平台外，还应具备数据咨询能力。

从厂商、产品、技术、企业需求四大角度呈现大数据可视化产品的发展现状：

从厂商角度来看，大数据可视化工具厂商呈现出明显的马太效应。处于行业第一梯队的品牌知名度和市场份额与其他厂商的距离进一步拉大。综合实力强大的厂商更能投入资源做好产品、服务，解决更多用户的需求和问题。

在产品现状方面，大数据可视化工具已经不止于满足使用传统的数据可视化工具对数据仓库中的数据抽取、归纳并简单的展现，还需满足互联网爆发的大数据需求，快速收集、筛选、分析、归纳、展现决策者所需要的信息，并根据新增的数据进行实时更新。现有的大数据可视化工具具有直观、交互性、实时三大特征。

从技术角度来看，未来AI将与BI深度集成。BI满足了企业在数据分析、问题诊断、决策支持上的需求，AI则满足了业务预测、问题预警、探究数据背后的关联关系等深层次需求。相比AI，经过十几年发展的BI，其可视化能力、敏捷易用性、数据准备能力、高性能处理能力都可让AI借力。

从企业用户需求来看，一方面，在一二线稍具业务规模的企业目前已经上线了各种业务系统，存储了大量的数据，他们迫切需要挖掘数据价值提升市场竞争力，降低企业运营成本。另一方面，企业虽然已经具备了进行数据分析和数据化管理的各种条件，但是由于企业缺少对大数据关键节点有效整合的价值方案，决策者在进行业务决策时，往往会陷入信息孤岛。在实现业务应用的最终判断时，决策者往往需要调配大量资源，导致人力与资金的高度浪费。

三大趋势看大数据可视化工具发展

目前市场上现有的大数据可视化工具，虽然能满足大部分企业的需求，但是还存在很多不足的地方。比如，在可操作性与功能丰富度方面；提升数据处理量级后的秒级响应；提升自身元数据管理能力、ETL处理能力以及数据存储能力；与多个系统融合同时支持移动端的数据共享和查看；提供灵活丰富的用户管理功能、权限控制功能，确保企业的数据安全和信息保密等方面还有待提升。

未来，有洞察力的数据可视化工具可以更好助力企业IT决策，具体来看，大数据可视化工具发展将呈现三大趋势：

趋势一、增强功能丰富度，支持多维度数据分析

可视化分析工具需要拥有性能强大的数据处理平台，支持嵌入式部署，如主流的应用服务器，支持跨平台的权限集成和页面集成。通过专业的统计数据分析方法，提升数据挖掘能力，数据处理能力以及数据管理能力。

通过不断丰富产品功能，尤其在可视化图形的展现多样性以及多个视图整合方面，帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。通过不断改善分析的功能和可操作性，让前端布局自定义搭配，让业务人员随心所欲布置，为不同用户提供个性化的视觉体验。

趋势二、数据视图交互联动，推动企业决策

将数据分析结果通过AI输出系列可视化图表，除了原有的饼状图、柱形图、热图、地理信息图等数据展现方式，还可以通过图像的颜色、亮度、大小、形状、运动趋势等多种方式在一系列图形中对数据进行分析，帮助用户通过交互，挖掘数据之间的关联。

将每一项数据在不同维度指标下交互联动，展示数据在不同角度的走势、比例、关系，帮助使用者识别趋势，发现数据背后的知识与规律。并支持数据的上钻下探、多维并行分析，利用数据推动决策。

趋势三、强大的大屏展示以及分享功能

支持主从屏联动、多屏联动、自动翻屏等大屏展示功能，可实现高达上万分辨率的超清输出，并且具备优异的显示加速性能，支持触控交互，满足用户的不同展示需求。

可以将同一主题下的多种形式的数据综合展现在同一个或分别展示在几个高分辨率界面之内，实现多种数据的同步跟踪、切换;同时提供大屏幕触控屏，作为大屏监控内容的中控台，通过简单的触控操作即可实现大屏展现内容的查询、缩放、切换，全方位展示企业信息化水准。

根据不同的用户创建的分析页面，可以方便地分享给其他成员。同时，在企业的分析用户设计仪表板时，可以复用仪表板中的图表、维度、指标等，支持用户分享指定页面进行给其他部门成员，便于互动沟通交流。

要想在激烈的市场竞争中脱颖而出，除了自身的产品功能要足够强大外，还需要厂商持续不断的在研发领域投入并形成优势。除此之外，还需要有非常强的市场和行业洞察和服务能力，为客户创造价值。

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

更清楚地查看分析结果简化正在使用的数据中的复杂性了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

实时拖放聚类分析交叉数据源加入强大的数据连接器移动启用实时的地区或区域数据探索

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

自动化建立网站和网页访问和操作数据计算统计创建可视化报告建立预测和解释模型评估额外数据的模型将模型整合到生产系统中

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。

（本文系土人创新原创，转载请注明出处）

一、工业大数据的特性

工业大数据不同于商业大数据，工业领域通常有大量的机理模型、专家经验的深厚积累，其分析范式更加注重数据科学与行业经验的融合。

工业大数据产业生态根植于传统大数据和工业自动化产业，以IBM、SAP、微软、GE、西门子等为代表的巨头企业利用先发者优势占据产业链重要环节。

工业大数据应用成为领先企业智能化实施重点方向，但数据模型及经验积累不足仍制约着全流程、全系统的综合应用发展。

二、可视化是推动工业大数据发展的引擎

让大数据有意义，使之更贴近大多数人，最重要的手段之一就是数据可视化。数据可视化是寻路仪，从字面上理解，就如同街头的路标指引你到公路，从象征意义上理解，其颜色、大小或抽象元素的位置都会传达信息。在某种意义上，恰当的可视化标识可以提供较短的路线，帮助指导决策，成为通过数据分析传递信息的一种重要工具。

通过增加数据可视化使用，企业能够发现他们追求的价值。创建更多的信息图表，使用更多的资源，让他们更快地获得更多的信息。这使他们意识到他们已经知道很多信息，而这些信息先前就应该是很明显的。这就增加了部门的作用，因为他们能够提出更好的问题。它创建了似乎没有任何联系的数据点之间的连接。人们能够分辨出有用的和没用的数据，这样，就能最大限度的提高他们的生产力，让信息的价值最大化。

利用大数据资产对任何公司来说都是很重要的，不论公司大小。当大数据的潜力通过可视化达到最大时，之前未看到的趋势就很容易被发现。

具体到工业大数据领域，其可视化又有自己独特的特点，呈现出与互联网大数据可视化不同的难点和方向，我总结了一下，工业大数据可视化有以下几个特点：

1、数据量呈现海量趋势，且更新频率极高。

2、大量的监控点，无法进行有效地显示。

3、整体与局部如何有效地结合。

4、局部与细节如何兼顾。

5、如何实现工业数据的有效检索和有效推送。

6、如何将数据转化为有效地信息提供给用户。

三、数据可视化产品体系结构

ProdaOn是土人创新工坊自主创新研发的一套面向工业智能制造的数据可视化解决方案，向制造企业提供安全、快捷的工业生产数据接入服务，并通过云平台数据分析服务，向制造企业输出智能生产（提出ProductionIntelligence，简称PI的概念）数据分析服务，制造企业通过ProdaOn提供的PI服务，可实现对生产设备的实时监控和管理，并能通过ProdaOn云端服务实现对企业生产数据的远程移动访问与多维可视化展现。

ProdaOn核心产品体系

3.1数据整合

数据整合是把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。

工业生产数字化转型不仅仅意味着企业简单的数字化，而是把数字作为智能制造的核心驱动力需要利用数据去整合产业链和价值链。

3.2数据处理

工业数据来源于企业产业链的各个环节，通过条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术采集，工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高，所以必须对多源、异构数据信息进行同构化处理，以构建完整的数据结构视图。

3.3可视化分析

对数据统计分析结果按照自定义方式进行形象、直观的可视化展视。ProdaOn提供灵活、易用、高性能的可视化分析能力，帮助客户快速洞察市规律，及时发现业务盲点；同时提供多达几十种可视化展示效果，让数据说话。

3.4智能分析

在万物互联的时代，获得海量数据并不困难，但只有当数据插上智能分析的翅膀，才能从“大而无当”成为真正为企业和客户创造价值的智能大数据。ProdaOn提供筛选分析、多维分析、对比拆分、数据预警、图表联动等功能，土人创新拥有专业的大数据分析团队，具备聚类算法、决策树、神经网络、基因算法等深层次数据挖掘能力。

3.5报告分发

ProdaOn内置基于角色的访问控制体系，让企业的每个人的工作都实现数据驱动；同时还支持多种类型终端的展示，不仅能够在PC端使用，还支持在移动端数据展示，让企业人员随时随地掌控业务情况。

土人创新是一个接地气的创业项目孵化工坊，一直坚持提供科学精准、人性化的专业IT技术服务，聚焦“网络安全、移动应用、物联大数据”三大方向，为客户提供信息安全化、应用便捷化、数据可视化、分析智能化服务。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品