DataHunter 在实践中发现：无缝对接企业现有数据源是帮助其实现数据可视化的必经步骤。因此，DHAgency 应运而生！

DHAgency是DataHunter推出的大数据可视化利器，旨在帮助企业用户更好地处理超大数据量的分析，满足企业对数据源实时性的需求。

通过DHAgency可视化引擎，企业可以直接对接现有的数据源。无论关系型数据库（Mysql，Oracle，Postgresql等），还是Hadoop相关大数据平台、NOSQL数据库、MPP架构的解决方案，都可自助完成分析并展现，最终帮助企业做出更敏捷的、更及时的分析和决策。

架构

核心功能

海量数据多维分析

DHAgency可视化引擎支持连接企业已有的大数据计算平台，如Hadoop，Kylin，Greenplum，Elasticsearch等。与此同时，借助这些大数据计算平台的性能，也解决了TB到PB级超大数据量多维分析的难题。

实时数据展示

DHAgency能够进行实时的数据处理，并实时显示关键指标。每一刻都保持与前线同步。基于DHAgency，用户只需进行拖拽操作，即可实时地分析并展现出来，真正做到所见即所得。

产品优势大数据可视化利器

支持对接多种大数据平台，如Hadoop，Greenplum，Kylin，

Elasticsearch等。充分发挥平台的计算优势。

配置可视化，上手容易

可视化多维分析，只需简单拖拽即可展现出图像，零上手难度。可自动完成取数计算和分析。

缓存机制，使查询更快

引入数据缓存机制，最大化节省计算资源，使查询速度更快，资源更省。

灵活的条件查询

通过DHAgency界面参数的配置，可灵活的根据业务展现不同的分析需求。

异构数据源关联

可视化的数据关联模型配置，支持跨数据源关联查询，满足企业绝大多数的实际应用场景。

交互式分析

图表协同过滤，任意维度数据钻取，探索式分析帮助用户快速找到问题根源。

多种平台查看

支持多种终端（PC、手机、Pad、电视屏等）屏幕进行可视化内容的浏览分析，方便随时决策。

应用案例超大数据量实时分析|人民出版社

DHAgency通过接到实时的数据源，实时的显示热点新闻和最新文献。并做出新闻热度分析与不同新闻关注度的分析。对图书阅读时长，栏目访问，新闻访问，学习任务等采集到的数据进行实时分析与展现。

海量数据分析|甘肃统计局

海量数据通过云计算技术，大数据挖掘技术，现代统计分析技术充分融合，集数据采集、加工处理、分类计算、分析预警、报告展示、管理服务等功能为一体，实现统计系统内部业务优化整合，使用DHAgency进行海量数据的可视化分析。

（本文系土人创新原创，转载请注明出处）

一、工业大数据的特性

工业大数据不同于商业大数据，工业领域通常有大量的机理模型、专家经验的深厚积累，其分析范式更加注重数据科学与行业经验的融合。

工业大数据产业生态根植于传统大数据和工业自动化产业，以IBM、SAP、微软、GE、西门子等为代表的巨头企业利用先发者优势占据产业链重要环节。

工业大数据应用成为领先企业智能化实施重点方向，但数据模型及经验积累不足仍制约着全流程、全系统的综合应用发展。

二、可视化是推动工业大数据发展的引擎

让大数据有意义，使之更贴近大多数人，最重要的手段之一就是数据可视化。数据可视化是寻路仪，从字面上理解，就如同街头的路标指引你到公路，从象征意义上理解，其颜色、大小或抽象元素的位置都会传达信息。在某种意义上，恰当的可视化标识可以提供较短的路线，帮助指导决策，成为通过数据分析传递信息的一种重要工具。

通过增加数据可视化使用，企业能够发现他们追求的价值。创建更多的信息图表，使用更多的资源，让他们更快地获得更多的信息。这使他们意识到他们已经知道很多信息，而这些信息先前就应该是很明显的。这就增加了部门的作用，因为他们能够提出更好的问题。它创建了似乎没有任何联系的数据点之间的连接。人们能够分辨出有用的和没用的数据，这样，就能最大限度的提高他们的生产力，让信息的价值最大化。

利用大数据资产对任何公司来说都是很重要的，不论公司大小。当大数据的潜力通过可视化达到最大时，之前未看到的趋势就很容易被发现。

具体到工业大数据领域，其可视化又有自己独特的特点，呈现出与互联网大数据可视化不同的难点和方向，我总结了一下，工业大数据可视化有以下几个特点：

1、数据量呈现海量趋势，且更新频率极高。

2、大量的监控点，无法进行有效地显示。

3、整体与局部如何有效地结合。

4、局部与细节如何兼顾。

5、如何实现工业数据的有效检索和有效推送。

6、如何将数据转化为有效地信息提供给用户。

三、数据可视化产品体系结构

ProdaOn是土人创新工坊自主创新研发的一套面向工业智能制造的数据可视化解决方案，向制造企业提供安全、快捷的工业生产数据接入服务，并通过云平台数据分析服务，向制造企业输出智能生产（提出ProductionIntelligence，简称PI的概念）数据分析服务，制造企业通过ProdaOn提供的PI服务，可实现对生产设备的实时监控和管理，并能通过ProdaOn云端服务实现对企业生产数据的远程移动访问与多维可视化展现。

ProdaOn核心产品体系

3.1数据整合

数据整合是把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。

工业生产数字化转型不仅仅意味着企业简单的数字化，而是把数字作为智能制造的核心驱动力需要利用数据去整合产业链和价值链。

3.2数据处理

工业数据来源于企业产业链的各个环节，通过条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术采集，工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高，所以必须对多源、异构数据信息进行同构化处理，以构建完整的数据结构视图。

3.3可视化分析

对数据统计分析结果按照自定义方式进行形象、直观的可视化展视。ProdaOn提供灵活、易用、高性能的可视化分析能力，帮助客户快速洞察市规律，及时发现业务盲点；同时提供多达几十种可视化展示效果，让数据说话。

3.4智能分析

在万物互联的时代，获得海量数据并不困难，但只有当数据插上智能分析的翅膀，才能从“大而无当”成为真正为企业和客户创造价值的智能大数据。ProdaOn提供筛选分析、多维分析、对比拆分、数据预警、图表联动等功能，土人创新拥有专业的大数据分析团队，具备聚类算法、决策树、神经网络、基因算法等深层次数据挖掘能力。

3.5报告分发

ProdaOn内置基于角色的访问控制体系，让企业的每个人的工作都实现数据驱动；同时还支持多种类型终端的展示，不仅能够在PC端使用，还支持在移动端数据展示，让企业人员随时随地掌控业务情况。

土人创新是一个接地气的创业项目孵化工坊，一直坚持提供科学精准、人性化的专业IT技术服务，聚焦“网络安全、移动应用、物联大数据”三大方向，为客户提供信息安全化、应用便捷化、数据可视化、分析智能化服务。

随着移动端的需求，canvas 强大的功能让它成为了 HTML5 中非常重要的部分，可视化图表，则是 canvas 强大功能的表现之一。

现在已经有了很多成熟的图表插件都是用 canvas 实现的，Chart.js、ECharts等可以制作出好看炫酷的图表，而且几乎覆盖了所有图表的实现。

有时候自己只想画个柱状图，自己写又觉得麻烦，用别人插件又感觉累赘，最后打开搜索引擎，拷段代码，粘贴上来修修改改，虽然这样实现起来非常的速度和不用太多的逻辑思维。但是毕竟复制的还是别人的东西，所以还是靠自己多撸码好一点！

效果图展示：

由于是截图的，动态效果图片就显示不出来了，大家伙懂就好！一般见过那些数据统计图表网站的都知道动态的图表是怎么运动的！

分析实现原理：

这个图表由XY轴、数据条形和标题组成。

轴线：可以使用moveTo()&line To()实现

文字：可以使用 fillText() 实现

长方形：可以使用 fillRect() 实现

实现方法：

先定义画布：

canvas 标签只是个容器，真正实现画图的还是 JavaScript。

画坐标轴：

坐标轴就是两条横线，也就是canvas里最基础的知识。

由ctx.beginPath() 开始一条新的路径

ctx.lineWidth=1 设置线条宽度

ctx.strokeStyle='#000000' 设置线条颜色

ctx.moveTo(x,y) 定义线条的起点

ctx.lineTo(x1,y1) 定义线条的终点

最后ctx.stroke() 把起点和终点连成一条线

画坐标点：

y轴上多少坐标点由自己来定义，需要获取到数据的最大值来计算y轴上的坐标值。x轴的点则由传入的数据长度决定，坐标值由传入数据的 xAxis 属性决定。

坐标值就是文字，由 ctx.fillText(value, x, y) 填充文字，value 为文字值，x y 为值的坐标

ctx.textAlign='center' 设置文字居中对齐

ctx.fillStyle='#000000' 设置文字填充颜色

动画实现：

接下来要把数据通过柱状的高低显示出来，这里有个动画效果，柱状会从0升到对应的值。在 canvas 上实现动画我们可以使用 setInterval、setTimeout 和 requestAnimationFrame。

requestAnimationFrame 不需要自己设置定时时间，而是跟着浏览器的绘制走。这样就不会掉帧，自然就流畅。requestAnimationFrame 原本只支持IE10以上，不过可以通过兼容的写法实现兼容到IE6都行。

柱状即是画矩形，由 ctx.fillRect(x, y, width, height) 实现，x y 为矩形左上角的坐标，width height 为矩形的宽高，单位为像素

ctx.fillStyle='#1E9FFF' 设置填充颜色

一个最基本的柱状图就完成了。接下来，我们可以为他添加标题。

添加标题：

要放置标题，就会发现我们一大早定义的 padding 内边距确实有用，总不能把标题给覆盖到柱状图上吧。但是标题有的是在顶部，有的在底部，那么就不能写死了。定一个变量 position 来判断位置去画出来。这个简单。

添加鼠标移动事件：

有些图表，把鼠标移上去，当前的柱状就变色了，移开之后又变回原来的颜色。这里就需要监听 mouseover 事件，当鼠标的位置位于柱状的面积内，触发事件。

那我怎么知道在柱状里啊，发现在 drawAnimation() 里会有每个柱状的坐标，那我干脆把坐标给保存到 data 里。那么鼠标在柱状里的条件应该是：

ev.offsetX >data[i].left

ev.offsetX< data[i].right

ev.offsetY >data[i].top

ev.offsetY< data[i].bottom

最近有很多人在谈论数据可视化的话题。

几乎同关于大数据的谈论一样多。我们被告知，可视化是了解数据的最佳方式或唯一的方法，而且如果我们不可视化的话，仿佛就会落伍。

可视化是增加和分享自己见解的一个伟大的方式，但许多大数据的团队正在以错误的方式来进行可视化。怎么能做错了呢？原来，有几种方式可以破坏数据的可视化。让人很容易陷入一些误区。

让我们来看看几个最常见的错误。

错误1：显示错误的数据

这个错误是同第一个错误一样危险。显示信息的子集是好的，只要数据之间是相关的。比如说，如果你关心销售，您可能还关心每个区域的销售以及销售随着时间推移所发生的变化。考虑如何使用这些数据来作出决策。

显示一些密切相关的图表可以作为在一个图表中显示过多的信息，和并没有显示出足够信息之间的一个很好的折衷。几个干净，清晰的图表通常比单一、复杂的数据的可视化更好。

错误2：显示所有的数据

尽管你曾经在学校里被告知，大多数人并不关心是否能看到你的工作。他们不关心你每天处理多少数据或有多大Hadoop集群。客户和内部用户需要得到具体，相关的答案，而且得到的越早越好。你能给他们提供的答案与他们想要的越接近，他们在寻找答案时就越省力。页面上的不相干信息越多他们寻找相关答案时就越费力。不相关的数据(无论多么有效)就是噪音。

在仪表板上的噪音尤为普遍，其中的指导理念往往是“显示所有的绩效指标。”但大部分绩效指标是正常(和乏味的)，不值得一提。显示一切的正常指标使得不正常的指标更易隐藏。

一个更好的仪表盘的方法是只显示有趣或重要的指标。优先考虑什么是重要的，什么是意想不到的，什么是可行的，并且淡化其它的一切。深入挖掘数据也很重要，但仪表盘不是展示这些东西的地方。广泛的概括非可操作的数据较报告来说会更容易处理一些。

错误3：数据表示不佳

即使在你以正确的数据绘图时，你仍然可能犯错误，大多数奇特的图形类型都很少见到，因为它们并不好用。大部分的可视化需求，可以通过条形图和折线图，散点图，以及(如果干得好)饼图来处理。

想想数据字段之间的重要关系，并考虑在轴上标出这些字段。先按类别，然后按时间或重要性或大小来给数据字段排序。(在没有其他标准时，字母表是最有用的)。使用颜色类别，而不是等级;你可以使用亮度和饱和度来说明等级。使用标签和其他标记选择性地引起人们关注而不会搞乱。

你需要突出什么样的数据？

当你回答这些问题时，就可以开始使用正确的数据来设计和实施正确的视觉效果。可能你必须做出一些改变。这是一件好事。反复，测试，尝试不同的方法，测试更多的方法，并再次重复。一个深思熟虑的，面向用户的设计方法将产生有效的，高效的，有用的可视化数据。

失败并不可怕，在失误失败中探取中正确的经验和方法，才是我们以后少走弯路，一直前进的动力。

同 享 网 络 安 全

共 治 网 络 社 会

广州网警巡查执法

数据可视化之初级篇

零编程工具

1. Tableau

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形，表格和地图。 它不仅提供了PC桌面版，还提供了服务器解决方案，可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行，Pandora和Citrix等企业

2. Infogram

Infogram的最大优势在于，让您的可视化信息图表与实时大数据相链接。只须三个简单步骤，您可以选择在众多图表，地图，甚至是视频可视化模板中进行选择。 Infogram支持团队账号。

3. ChartBlocks

ChartBlocks是一个易于使用在线工具，它无需编码，便能从电子表格，数据库中构建可视化图表。整个过程可以在图表向导的指导下完成。您的图表将在HTML5的框架下使用强大的JavaScript库D3.js创建图表。你的图表是响应式的，并且可以和任何的屏幕尺寸及设备兼容。 您还可以将图表嵌入任何网页中，分享在Twitter和Facebook上。

4. Datawrapper

Datawrapper是一款专注于新闻和出版的可视化工具。华盛顿邮报，卫报，华尔街日报和Twitter等媒体都使用了这一工具。Datawrapper非常容易使用，不需要任何编程基础。你只需要上传你的数据，便能轻松地创建和发布图表，甚至是地图。Datawrapper提供了众多的自定义布局及地图模板。

5. Plotly

Plotly帮助你在短短几分钟内，从简单的电子表格中开始创建漂亮的图表。Plotly已经为谷歌、美国空军和纽约大学等机构所使用。 Plotly是一个非常人性化的网络工具，让你在几分钟内启动。如果你的团队希望为JavaScript和Python等编程语言提供一个API接口的话，Plotly是一款非常人性化的工具。

6. RAW

RAW弥补了很多工具在电子表格和矢量图形（SVG）之间的缺失环节。你的大数据可以来自MicrosoftExcel中，谷歌文档或是一个简单的逗号分隔的列表。它最厉害的功能是可以很容易地导出可视化结果，因为它和Adobe Illustrator，Sketch 和Inkscape是相容的。

7. Visual.ly

Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，用户包括了VISA，耐克，Twitter，福特和国家地理等。如果你想完全外包可视化文件给第三方。你可以使用非常简化的在线流程：你只需描述你的项目，服务团队将在项目的整个持续时间内和你在一起。 Visual.ly给您发送所有项目关键点的邮件通知，也将让你不断给出反馈。

数据可视化之开发展篇

JavaScript库

8. D3.js

毋容置疑D3.js是最好的数据可视化工具库。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是开源工具，使用数据驱动的方式创建漂亮的网页。 D3.js可实现实时交互。这个库非常强大和前沿，所以它带有没有预置图表也不支持IE9。

9. Ember Charts

Ember Charts – 顾名思义是一种基于Ember.js框架和使用d3.js的可视化工具。Ember Charts以绘制时间序列图，柱状图，饼图和散点图为主。它非常优易于扩展。同为Ember.js开发团队，Ember Charts聚焦于图形互动性。它有极强的错误处理能力，当你遇到坏数据时，系统也不会崩溃。

10. NVD3

NVD3运行在d3.js之上, 它可建立可重用的图表组件。该项目的目标是保持所有的图表整洁和可定制性。 NVD3是d3.js之上的简单的接口，保持了d3.js的所有强大功能。 NVD3由Novus Partners前端工程师开发和使其保持了图表技术洞察力。

11. Google Charts

Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器。所有您将创建的图表是交互式的，有的还可缩放。Google Charts是非常人性化和他们的网站拥有一个非常好的，全面的模板库，你可以从中找到所需模板。

12. FusionCharts

FusionCharts是最全面的JavaScript图表库，包括90个图表和900种地图。如果你不是特别喜欢的JavaScript。FusionCharts可以轻松集成像jQuery库，Angularjs和React框架以及ASP.NET和PHP语言。 FusionCharts支持JSON和XML数据，并提供许多格式图表：PNG，JPEG，SVG和PDF。

13. Highcharts

Highcharts是一个JavaScript API与jQuery的集成，全球最大的100家公司中有61家正在使用它。图表使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型：Highstock和Highmaps，并且还配备了一系列的插件。你可以免费使用它，而如果你想建立付费的应用，只须支付少量牌照费用。此外，你还可以使用Highcharts云服务。

14. Chart.js

对于一个小项目的图表，chart.js是一个很好的选择。开源，只有11KB大小，这使得它快速且易于使用，它支持多种图表类型: 饼图，线性图和雷达图等。

15. Leaflet

你是否专注于专业的大数据解决方案？无需饼图和条形图？Leafleft 基于Open Street Map数据，使用HTML5 / CSS3绘制互动式可视化图。您可以使用他们的扩展插件库添加热点图（heatmaps）和动画标记。 Leaflet 是开源和只有33 KB大小。

16. Chartist.js

Chartist.js的开发社区一直致力于打败所有其他JavaScript图表库。它使用了Sass的个性化风格，它的SVG输出是响应式的。

17. n3-charts

N3-charts是一种基于AngularJS框架的工具。它建立在D3.js之上，帮助您创建简单的互动图表。 N3-charts是一种小型化的图表工具，不适用于大型项目。

18. Sigma JS

Sigma JS 是交互式可视化工具库。由于使用了WebGL技术，你可以使用鼠标和触摸的方式来更新和变换图表。Sigma JS同时支持JSON和GEXF两种数据格式。这为它提供了大量的可用互动式插件。Sigma JS 专注于网页格式的网络图可视化。因此它在大数据网络可视化中非常有用。

19. Polymaps

Polymaps是一款地图可视化一个JavaScript工具库。 Polymaps使用SVG实现从国家到街道一级地理数据的可视化。您可以使用CSS格式来修改你的样式。Polymaps使用GeoJSON来解释地理数据。它是创建heatmap热点图的最好的工具之一。您创建的所有地图都可以变成动态图。

20. Processing.js

Processing.js是一个基于可视化编程语言的JavaScript库。作为一种面向Web的JavaScript库，Processing.js是您能够有效进行网页格式图表处理。这使得它成为了一种非常好交换式可视化工具。 Processing.js需要一个兼容HTML5的浏览器来实现这一功能。

来源：数据分析

精彩回顾

图解：建设网络强国，习近平在网信工作会上提出这些重大论断！

朋友圈这样发很危险！但这些事很多人不知道……

他们正在微信朋友圈窃取你的信息，赶紧拉黑！

偷信息！偷钱！手机有这10个APP赶紧删！

之前写过几篇大数据的文章《遇见大数据可视化 ：基础研究》，《遇见大数据可视化 ： 来做一个数据可视化报表》，《遇见大数据可视化 ： 图表的视觉系统感知》。得到了身边不少小伙伴的认可，都觉得数据可视化是一件挺有意思的事情，纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了，很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘（学习Python，JavaScript，R语言等等），再到可视化图表的设计（学习Processing，D3.js，PhotoShop，Illustrator等等），还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化，但陡峭的学习成本，让很多小伙伴望而却步，看到各种复杂的教程，简直是从入门到放弃。

那么有没有什么好的办法，可以不用学习这么多的知识点，而能做一些不太复杂的数据可视化图表出来呢？答案肯定是有的，那下面就手把手的带领大家，零代码来做数据可视化图表。

【生产力有两项，一项是人，一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来，很简单，只要选好工具来就可以了。网上有很多介绍各种工具的文章，这里就不一一的去粗浅的介绍各种工具，而是深入的用案列的方式带大家了解我觉得还不错的可视化工具（数据挖掘和可视化图表），目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式，那首先需要确定我们做什么主题。作为一个四川人，每次做自我介绍的时候，都会说到四川的美食，川菜作为中国八大菜系之一，还是深受广大人民的喜爱的。那么我们就用数据，来看看川菜和中国其他菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）到底有什么不同，来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了，下一步就是数据的挖掘。 一般来说，基础数据的来源分为这几类。

自家数据– 自家应用APP收集的数据。不对外输出，最好的数据来源，纯洁数据拿来就可以用。行业报告– 上市公司的年报、半年报、工商系统、股转系统。定期对外输出，有干扰项。政府官方数据– 国家统计局，中国环境监测总站，世界银行等。定期对外输出，或有接口API，干扰项较少。全网公开数据– 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据，干扰项较多，一般都需要做二次数据清理。

那这次我们要做菜谱的分析，自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番，就发现了很多的菜谱网站，比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等，这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据，因为【美食天下】刚好有按照菜系进行分类，这样我们在做二次数据清理的时候，就可以减少一个步骤了。

上图就是我们需要爬取的一条内容。有了爬取网站，确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢？代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io对于简单的数据爬取足够用的工具，简单的了解，10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步：输入需要爬取的网站地址，然后点击【开始爬取】。

第二步：设置爬取规则。点击【开始爬取】后，会进入这个界面，在这个页面进行爬取规则的制定（就是选择出我们需要获取的内容），只需点击我们想要的内容即可，下图绿色区域就是我们需要的内容，然后点击【完成创建】。

第三步：执行下载数据。这步就可以下载数据了，只需三步造数就能得到想要的数据，而不需要各种配置。

下图就是下载下来的原始数据，大致是这样的，全部汇总在一个Excel表中。在这里有菜谱名称，网站地址，和所需原料。当然不是所有内容都是我们需要用的，这时候就需要对原始数据进行清理，删除，汇总等处理。

因为数据量不大，对于原始数据的处理，我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的，所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的，那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中，如下图所示。

文本分列后，把它聚合到一起，然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序，我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程，及数据挖掘和清理汇总。在这里我们用到了两个工具，一个是【造数】用做数据的爬取，一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的，比如国内的Gooseeker（集收客），八爪鱼。国外的Kimono，import.io。但是我们的目标是能快速的上手做一些简单数据挖掘，所以这里给大家推荐的是造数，它规则提取足够简单，能通过可视化的简洁的方式来设置提取规则，同时爬取路线很清晰，很容易就能理解它是怎么运行的，从而快速上手。而【Excel表格】也是我们办公常用的软件，对于数级不大数据源，我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后，我们就可以开始进入可视化图表制作这一步了。关于图表的制作，其实用Excel就能完成的。不过Excel图表的默认样式，和图表的对应数据的关系都做的十分不友好的，你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的，而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp/home.html 。BDP把数据拆分出来，把图表的维度和数值列出来，通过拖拽的方式进行数据分析，完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了，感兴趣的去试试，很快就能上手开始做图表的了。下面我们就来看下，用BDP做出的图表，来看看中国八大菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）有什么不同。

我们在【美食天下】的网站中，一共爬取了1062篇菜谱，其中川菜就有350篇，就占了总量的三分之一的量，全国人民还是都比较喜欢吃川菜的，真可为八大菜系之首的。而紧跟其后的就是粤菜，也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是：盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是：盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西，川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人，还是不能理解为什么需要放耗油来做菜，耗油不只是用在吃火锅的时候做蘸碟吗？还有居然没有豆瓣酱，豆瓣酱才是做菜的王道呀，炒菜放点豆瓣酱味道一下就来了。

再看下，把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的，60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖（PS：据大厨了解，加白糖多是为了上色，而非让味道变甜），而豆瓣酱在Top15中已经没见了，果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去，只看下主材的情况。在主材中鸡蛋出现了121次，也就是说10%菜品用到了鸡蛋，上榜率相当高的。紧接着就是猪肉，这个也是意料之中的。如果把排骨等也归为猪肉的话，猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜，而土豆这种我觉得应该用的很多的主材，却这么少。

OK，这边我们就只做简单的分析即可，如果有同学有兴趣，可以在分析下去，我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用， 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难，只要我们开始动手去做，人人都可数据可视化图表来，这就是工具的价值。

所以我们设计中心也在思考，有没有可能在图表之上，提供更好的数据可视化工具，而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具，我们在这个方向前进，推出一款更好的大数据可视化工具。

大数据可视化共享平台，一方面，作为“一站式云计算服务来源”，政府各机构可以集中购买大数据处理各种云服务产品，节约大量IT预算。通过应用程序商店，采用成熟的软件产品，规范与整合了部门业务流程，减少部门重复的软件开发成本，减少各部门在硬件、软件和运行方面的开销，提升大数据信息技术方面的整体安全性。另一方面，IT企业可以通过网站向政府提供专业化的IT服务，并通过竞争提升服务能力和服务质量，与大数据运营形成良好互动，可有效地推动政府的云战略，也有利于提升整个国家的信息化水平。

结束语：为什么要共享大数据？1、唤醒数据价值；整合分散于各个政府部门、科研院所、行业部门的数据资源，逐步向社会数据需求方开放，提升科技资源的公共服务能力。2、提高数据运行效率；社会治安曾是纽约市政府最为棘手的问题，每年要花费大笔的财政经费在警察和警务装备上。而随着详尽犯罪记录数据的开放，不仅开发出了提示公众避免进入犯罪高发区域和提高警惕的手机应用，从而降低犯罪发生的概率；而且还能将犯罪记录信息和动态交通数据结合起来，起到指导调配警力的作用。 3、 激发巨大商业价值；美国将原本用于军事的卫星定位系统GPS向公众开放使用，从汽车导航、精准农业耕作到物流、通讯等，北斗卫星系统开放后不仅服务了生产和生活，同时还创造了大量就业岗位。据现阶段数据估算，仅美国国内就有约三百万的就业岗位依赖于GPS卫星引导系统。

如果您对传统企业互联网转型、大数据、工业4.0等内容的文章、资料、PPT等感兴趣（有提供下载哦~），欢迎关注强企阅闻公众号。

来源／钱塘大数据

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

1.－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

2.－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

3.－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

4.－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

5.－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

6.－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

7.－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

8.－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

免责声明:本公众号所载文章为本公众号原创或根据网络搜集编辑整理，文章版权归原作者所有。如涉及作品内容、版权和其他问题，请与我们联系！ 文章内容为作者独立观点 ，并不代表兮易强企赞同或支持其观点。

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

更清楚地查看分析结果简化正在使用的数据中的复杂性了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

实时拖放聚类分析交叉数据源加入强大的数据连接器移动启用实时的地区或区域数据探索

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

自动化建立网站和网页访问和操作数据计算统计创建可视化报告建立预测和解释模型评估额外数据的模型将模型整合到生产系统中

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。