同 享 网 络 安 全

共 治 网 络 社 会

广州网警巡查执法

数据可视化之初级篇

零编程工具

1. Tableau

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形，表格和地图。 它不仅提供了PC桌面版，还提供了服务器解决方案，可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行，Pandora和Citrix等企业

2. Infogram

Infogram的最大优势在于，让您的可视化信息图表与实时大数据相链接。只须三个简单步骤，您可以选择在众多图表，地图，甚至是视频可视化模板中进行选择。 Infogram支持团队账号。

3. ChartBlocks

ChartBlocks是一个易于使用在线工具，它无需编码，便能从电子表格，数据库中构建可视化图表。整个过程可以在图表向导的指导下完成。您的图表将在HTML5的框架下使用强大的JavaScript库D3.js创建图表。你的图表是响应式的，并且可以和任何的屏幕尺寸及设备兼容。 您还可以将图表嵌入任何网页中，分享在Twitter和Facebook上。

4. Datawrapper

Datawrapper是一款专注于新闻和出版的可视化工具。华盛顿邮报，卫报，华尔街日报和Twitter等媒体都使用了这一工具。Datawrapper非常容易使用，不需要任何编程基础。你只需要上传你的数据，便能轻松地创建和发布图表，甚至是地图。Datawrapper提供了众多的自定义布局及地图模板。

5. Plotly

Plotly帮助你在短短几分钟内，从简单的电子表格中开始创建漂亮的图表。Plotly已经为谷歌、美国空军和纽约大学等机构所使用。 Plotly是一个非常人性化的网络工具，让你在几分钟内启动。如果你的团队希望为JavaScript和Python等编程语言提供一个API接口的话，Plotly是一款非常人性化的工具。

6. RAW

RAW弥补了很多工具在电子表格和矢量图形（SVG）之间的缺失环节。你的大数据可以来自MicrosoftExcel中，谷歌文档或是一个简单的逗号分隔的列表。它最厉害的功能是可以很容易地导出可视化结果，因为它和Adobe Illustrator，Sketch 和Inkscape是相容的。

7. Visual.ly

Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，用户包括了VISA，耐克，Twitter，福特和国家地理等。如果你想完全外包可视化文件给第三方。你可以使用非常简化的在线流程：你只需描述你的项目，服务团队将在项目的整个持续时间内和你在一起。 Visual.ly给您发送所有项目关键点的邮件通知，也将让你不断给出反馈。

数据可视化之开发展篇

JavaScript库

8. D3.js

毋容置疑D3.js是最好的数据可视化工具库。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是开源工具，使用数据驱动的方式创建漂亮的网页。 D3.js可实现实时交互。这个库非常强大和前沿，所以它带有没有预置图表也不支持IE9。

9. Ember Charts

Ember Charts – 顾名思义是一种基于Ember.js框架和使用d3.js的可视化工具。Ember Charts以绘制时间序列图，柱状图，饼图和散点图为主。它非常优易于扩展。同为Ember.js开发团队，Ember Charts聚焦于图形互动性。它有极强的错误处理能力，当你遇到坏数据时，系统也不会崩溃。

10. NVD3

NVD3运行在d3.js之上, 它可建立可重用的图表组件。该项目的目标是保持所有的图表整洁和可定制性。 NVD3是d3.js之上的简单的接口，保持了d3.js的所有强大功能。 NVD3由Novus Partners前端工程师开发和使其保持了图表技术洞察力。

11. Google Charts

Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器。所有您将创建的图表是交互式的，有的还可缩放。Google Charts是非常人性化和他们的网站拥有一个非常好的，全面的模板库，你可以从中找到所需模板。

12. FusionCharts

FusionCharts是最全面的JavaScript图表库，包括90个图表和900种地图。如果你不是特别喜欢的JavaScript。FusionCharts可以轻松集成像jQuery库，Angularjs和React框架以及ASP.NET和PHP语言。 FusionCharts支持JSON和XML数据，并提供许多格式图表：PNG，JPEG，SVG和PDF。

13. Highcharts

Highcharts是一个JavaScript API与jQuery的集成，全球最大的100家公司中有61家正在使用它。图表使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型：Highstock和Highmaps，并且还配备了一系列的插件。你可以免费使用它，而如果你想建立付费的应用，只须支付少量牌照费用。此外，你还可以使用Highcharts云服务。

14. Chart.js

对于一个小项目的图表，chart.js是一个很好的选择。开源，只有11KB大小，这使得它快速且易于使用，它支持多种图表类型: 饼图，线性图和雷达图等。

15. Leaflet

你是否专注于专业的大数据解决方案？无需饼图和条形图？Leafleft 基于Open Street Map数据，使用HTML5 / CSS3绘制互动式可视化图。您可以使用他们的扩展插件库添加热点图（heatmaps）和动画标记。 Leaflet 是开源和只有33 KB大小。

16. Chartist.js

Chartist.js的开发社区一直致力于打败所有其他JavaScript图表库。它使用了Sass的个性化风格，它的SVG输出是响应式的。

17. n3-charts

N3-charts是一种基于AngularJS框架的工具。它建立在D3.js之上，帮助您创建简单的互动图表。 N3-charts是一种小型化的图表工具，不适用于大型项目。

18. Sigma JS

Sigma JS 是交互式可视化工具库。由于使用了WebGL技术，你可以使用鼠标和触摸的方式来更新和变换图表。Sigma JS同时支持JSON和GEXF两种数据格式。这为它提供了大量的可用互动式插件。Sigma JS 专注于网页格式的网络图可视化。因此它在大数据网络可视化中非常有用。

19. Polymaps

Polymaps是一款地图可视化一个JavaScript工具库。 Polymaps使用SVG实现从国家到街道一级地理数据的可视化。您可以使用CSS格式来修改你的样式。Polymaps使用GeoJSON来解释地理数据。它是创建heatmap热点图的最好的工具之一。您创建的所有地图都可以变成动态图。

20. Processing.js

Processing.js是一个基于可视化编程语言的JavaScript库。作为一种面向Web的JavaScript库，Processing.js是您能够有效进行网页格式图表处理。这使得它成为了一种非常好交换式可视化工具。 Processing.js需要一个兼容HTML5的浏览器来实现这一功能。

来源：数据分析

精彩回顾

图解：建设网络强国，习近平在网信工作会上提出这些重大论断！

朋友圈这样发很危险！但这些事很多人不知道……

他们正在微信朋友圈窃取你的信息，赶紧拉黑！

偷信息！偷钱！手机有这10个APP赶紧删！

数据可视化，是关于数据视觉表现形式的科学技术研究，旨在借助于图形化手段，清晰有效地传达与沟通信息。大数据和互联网时代，企业从传统的流程化管理方式过渡到基于数据的管理方式是企业未来发展的必然趋势。

大数据可视化是实现对大数据有效应用，全面提升生产、交易、流通、服务等环节效率的重要步骤。泰一数据用5个案例来解析大数据可视化在行业决策上的应用。

数据统计分析可视化——传统零售行业

传统零售行业，线上和线下渠道分离，各自圈地经营，导致线上和线下数据的孤岛、断层现象严重，数据统计难以保持连贯性、关联性、完整性。建立数据统计分析可视化系统，实现数据的浏览和分析等操作的可视化、交互式应用，对于决策者获取决策依据、进行科学的数据分析、辅助决策人员进行科学决策尤为重要。

数据管理与预测可视化——医疗行业

数据可视化帮助医院构建全新的医疗管理体系模型，帮助医院领导快速解决关注的问题，如一些门诊数据、用药数据、疾病数据等，进行实时跟进，有效辅助决策；同时医生对患者的数据也能得到有效利用，有利于预测复发率、再入院率，这让医院能够对资源更加有效地去规划和使用；不仅如此，数据可视化还可以加快临床上对疾病预防、流行疾病防控等疾病的预测和分析能力。

精准营销可视化——小家电行业

技术含量相对不高，进入市场门槛相对低的家电行业，同质化严重，在传播过渡的时代，单单依靠价格优势来吸引市场细分和消费升级情况下的新客已是穷途末路。寻求差异化定位和精准营销是当务之急。通过大数据分析和挖掘用户群的文化观念、消费收入、消费习惯、生活方式等数据，将用户群体划分为更加精细的类别，根据用户群的不同制定不同品牌推广战略和营销策略，提高用户的忠诚度、培养能为企业带来高价值的潜在客户，提升市场占有率。

用户反馈可视化——手机3C行业

对于市场日趋饱和的智能手机行业，如何把（来自于贴吧、微博、论坛、电商平台等等）分散、凌乱的评论数据加以整合，构建全面的手机数据管理体系模型，帮助厂家快速解决消费者关注的问题，进行实时跟进，有效辅助决策，反哺到生产研发环节，迎合消费者实时变化的新需求，占领消费者心智，抢占市场制高点。

分析与运营可视化——电商行业

对于电商企业而言，针对商品展开数字化的分析运营，是企业的日常必要工作，进而开展一系列的销售策略，这就要求企业对销售数据的挖掘有灵敏的嗅觉和准确的把握。建立分析与运营可视化，帮助电商企业跨数据源整合数据，极大地提高数据分析能力。通过快速进行数据整合，成功定位忠诚度高的顾客，从而制定精准化营销策略；通过挖掘数据，预测分析客户的购物习惯，获悉了市场变化，提高竞争力，打造电商航母。

随着大数据与各行各业的深度融合，数据可视化对于提升组织决策的判断力、整合优化企业信息资源和服务、提高决策人员的工作效率等具有显着的意义。

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品

对于大数据，我们经常听到一些可怕的消息，比如大公司或者政府侵犯个人隐私。不过，往好的方面想，假如我们自己能够运用这些数据让我们生活变得更好呢？

这正是艺术家劳瑞·弗里克（ Laurie Frick）正在做的事——她想要用大数据建立一个远离虚伪没有欺诈的世界。她认为只要人们意识到大数据是一股前所未有的变革性力量，这种改变就是必然的。

Laurie Frick

弗里克正在用她的作品向人们展示未来是什么样子。与大多数艺术家不同，她也将其看法分享与那些能够将它的想法变为现实的人。

“数据将变得比我们现在所看到的有用的多，这是不可逆转的趋势。”弗里克说，“记录我们行为的数据能够发挥强大的作用。”

她痴迷于数据是始于几年前，当时是为了记录自己的睡眠情况，她用水彩画分析数据。

自那以后，弗里克还利用情绪、运动以及个性的数据，使用染料、皮革、木材和层压板让这些数据变为一幅幅生动而又精致的画。它们看起来就像是一幅由抽象画家蒙德里安（ Mondrian）创作的电子表格式的抽象画。

数据也许看起来很抽象，但是弗里克试图让它变得具象化、个性化。“此时此刻，我们产生的数据就是一个天文数字，数量庞大而惊人。”她说。因此她正在想办法让我们能够更容易的利用这些数据。

她最先是从有关人际关系的数据开始分析。弗里克本身是一个活泼开朗的人，但是她觉得自己并不擅长评估朋友的性格。在经过几年的数据研究后，她开始觉得数字比她的直觉更好的去评估别人。

"当别人对我不好的时候, 我总是最后一个意识到。”弗里克认为算法更能胜任这个工作，即区别何人更适合成为自己的朋友。

她一直在用一系列问题与答案来进行测试，这些数据来自约会网站OkCupid。这些问题被设计用来评估人们的性格，衡量诸如诚实和同情心等个人品性。比如下面这个问题就是测试忠诚度的：如果你的另一半与你分享他的隐私，最终你们分手了，那么你会不会将这个秘密告诉别人？

弗里克用日常活动图表和睡眠数据绘制的水彩画

弗里克认为OkCupid网站并未充分利用这些数据，但是她做到了。弗里克的工作室摆满了五颜六色的东西，她把它们组合成一幅幅的肖像，这些肖像能深入内心，揭露我们真实的行为和想法。

弗里克将每种性格按1到10进行排列，并给予它们一种颜色，颜色越深得分越高，黄色是较低的分数。

这听起来像是天方夜谭。但是当我们对弗里克了解的越多，就越能理解她。她不是一位传统意义上的艺术家，因为她是MFA（艺术硕士）和MBA（工商管理硕士）双料学位拥有者。

弗里克对建立一个初创公司并没有兴趣。她运用其艺术才能所设想的愿景远远超过现实的局限。但是她的商业知识为她向科技领域前进打开了一扇大门。

在硅谷，科技公司的高管们经常担心他们一不小心就会错过下一个风口。所以他们会请想弗里克这样的艺术家来这儿展示一些超前的想法。

弗里克把它当作一场表演，在科技公司的会议厅、董事会或者办公室里展示其想法。她已经成为三星公司的常驻艺术家，也受邀在谷歌、微软、IBM公司进行过展示。她似乎成功地让其想法看起来是真实可行的，（因为）高管们、投资者和程序员们都乐于听她的演讲。

有一天，弗里克在德州奥斯汀市的一个公司进行演讲，将她的想法展示给投资人萨拉·布兰德（Sara Brand） 和凯瑞·鲁普（Kerry Rupp），她们都投资一些健康领域的初创公司。

她向他们展示一个还未实施过的创业点子，名叫“朋友如营养”（Friend Nutrition）。

“你们以前有没有注意到有些朋友像是维生素，有些则有毒？和谁交往就像吃饭和锻炼身体，我们能够根据自己喜好选择，这同时也影响着我们自身”

弗里克设想的未来是，智能手表就能知道你身体对他人的反应。然后它将结合他们在Facebook上的数据告诉你他的性格特点。这样你就知道对谁无感，看到谁会兴奋以及谁会让你感到压抑。

凯瑞·鲁普很喜欢弗里克的点子，“如果我们有意识的往这方面发展，就像了解病情程度一样了解其他人的性格，对我们来说是再好不过了。”鲁普说。

研究显示，一个人的健康情况会受其周围朋友的影响。比如说，如果你周围有朋友很胖，那么你也很可能会变胖。

“近朱者赤近墨者黑，我们如何看待事情对他人确实会产生影响。”鲁普说。

鲁普和布兰德有了新想法，那就是如何利用个人健康数据，这可能是他们未来的投资方向。“他们认同我的观点，这让我更加确信自己是正确的。”弗里克说。

弗里克是一个乐观主义者，但是在让她的愿景成为现实的道路上，仍然存在非常多的潜在不利因素。

想象一下，如果数据显示有些人是对所有人来说都是不友好的，那么他们将会被排斥。数据就会让这些被排斥的人聚一块，因为数据显示他们认同彼此。可能每次我们遇到一个来自不同背景、阶层和种族的人时，我们都会紧张，这只会让社会更加的分裂。

弗里克说她并不是对可能发生的事一无所知。她知道在获取和拥有个人数据上有法律和经济上的困难。Facebook、谷歌和苹果公司并不会情愿交出这些信息。

但是弗里克并不会知难而退，她想要让人们要回他们自己的数据，去争取数据的所有权。

In Making Tracks, Frick uses human data from sensors to create portraits.

作为艺术家，弗里克认为，她应该超越科学和法律的局限。她最近的工作是制作一种可视化的图表，使数据看起来更加形象，简单易懂。“我真的想过, 数据能直观反映出它给生活带来什么样的影响, 这样你就可以看到它, 而不是一堆无聊的文字。”她说。

在未来，弗里克设想的是，实时数据能够随时起到作用，随之而来的是可视化图表的颜色和位置的构成也在发生变化。“它们并不是一成不变的，而是随时随地变化着。”她说。

数据每天都在变化，如果你遇到一个不算讨厌的人，那么红色就会变成紫色，最终也许会变成平静的蓝色。

这是一个不断演变的自画像，弗里克相信，总有一天数据将会强大到我们无法抗拒，再也离不开它。（本文首发钛媒体，译自NPR，编译/陈锴，编辑/李小年）

之前写过几篇大数据的文章《遇见大数据可视化 ：基础研究》，《遇见大数据可视化 ： 来做一个数据可视化报表》，《遇见大数据可视化 ： 图表的视觉系统感知》。得到了身边不少小伙伴的认可，都觉得数据可视化是一件挺有意思的事情，纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了，很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘（学习Python，JavaScript，R语言等等），再到可视化图表的设计（学习Processing，D3.js，PhotoShop，Illustrator等等），还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化，但陡峭的学习成本，让很多小伙伴望而却步，看到各种复杂的教程，简直是从入门到放弃。

那么有没有什么好的办法，可以不用学习这么多的知识点，而能做一些不太复杂的数据可视化图表出来呢？答案肯定是有的，那下面就手把手的带领大家，零代码来做数据可视化图表。

【生产力有两项，一项是人，一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来，很简单，只要选好工具来就可以了。网上有很多介绍各种工具的文章，这里就不一一的去粗浅的介绍各种工具，而是深入的用案列的方式带大家了解我觉得还不错的可视化工具（数据挖掘和可视化图表），目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式，那首先需要确定我们做什么主题。作为一个四川人，每次做自我介绍的时候，都会说到四川的美食，川菜作为中国八大菜系之一，还是深受广大人民的喜爱的。那么我们就用数据，来看看川菜和中国其他菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）到底有什么不同，来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了，下一步就是数据的挖掘。 一般来说，基础数据的来源分为这几类。

自家数据– 自家应用APP收集的数据。不对外输出，最好的数据来源，纯洁数据拿来就可以用。行业报告– 上市公司的年报、半年报、工商系统、股转系统。定期对外输出，有干扰项。政府官方数据– 国家统计局，中国环境监测总站，世界银行等。定期对外输出，或有接口API，干扰项较少。全网公开数据– 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据，干扰项较多，一般都需要做二次数据清理。

那这次我们要做菜谱的分析，自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番，就发现了很多的菜谱网站，比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等，这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据，因为【美食天下】刚好有按照菜系进行分类，这样我们在做二次数据清理的时候，就可以减少一个步骤了。

上图就是我们需要爬取的一条内容。有了爬取网站，确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢？代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io对于简单的数据爬取足够用的工具，简单的了解，10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步：输入需要爬取的网站地址，然后点击【开始爬取】。

第二步：设置爬取规则。点击【开始爬取】后，会进入这个界面，在这个页面进行爬取规则的制定（就是选择出我们需要获取的内容），只需点击我们想要的内容即可，下图绿色区域就是我们需要的内容，然后点击【完成创建】。

第三步：执行下载数据。这步就可以下载数据了，只需三步造数就能得到想要的数据，而不需要各种配置。

下图就是下载下来的原始数据，大致是这样的，全部汇总在一个Excel表中。在这里有菜谱名称，网站地址，和所需原料。当然不是所有内容都是我们需要用的，这时候就需要对原始数据进行清理，删除，汇总等处理。

因为数据量不大，对于原始数据的处理，我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的，所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的，那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中，如下图所示。

文本分列后，把它聚合到一起，然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序，我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程，及数据挖掘和清理汇总。在这里我们用到了两个工具，一个是【造数】用做数据的爬取，一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的，比如国内的Gooseeker（集收客），八爪鱼。国外的Kimono，import.io。但是我们的目标是能快速的上手做一些简单数据挖掘，所以这里给大家推荐的是造数，它规则提取足够简单，能通过可视化的简洁的方式来设置提取规则，同时爬取路线很清晰，很容易就能理解它是怎么运行的，从而快速上手。而【Excel表格】也是我们办公常用的软件，对于数级不大数据源，我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后，我们就可以开始进入可视化图表制作这一步了。关于图表的制作，其实用Excel就能完成的。不过Excel图表的默认样式，和图表的对应数据的关系都做的十分不友好的，你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的，而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp/home.html 。BDP把数据拆分出来，把图表的维度和数值列出来，通过拖拽的方式进行数据分析，完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了，感兴趣的去试试，很快就能上手开始做图表的了。下面我们就来看下，用BDP做出的图表，来看看中国八大菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）有什么不同。

我们在【美食天下】的网站中，一共爬取了1062篇菜谱，其中川菜就有350篇，就占了总量的三分之一的量，全国人民还是都比较喜欢吃川菜的，真可为八大菜系之首的。而紧跟其后的就是粤菜，也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是：盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是：盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西，川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人，还是不能理解为什么需要放耗油来做菜，耗油不只是用在吃火锅的时候做蘸碟吗？还有居然没有豆瓣酱，豆瓣酱才是做菜的王道呀，炒菜放点豆瓣酱味道一下就来了。

再看下，把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的，60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖（PS：据大厨了解，加白糖多是为了上色，而非让味道变甜），而豆瓣酱在Top15中已经没见了，果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去，只看下主材的情况。在主材中鸡蛋出现了121次，也就是说10%菜品用到了鸡蛋，上榜率相当高的。紧接着就是猪肉，这个也是意料之中的。如果把排骨等也归为猪肉的话，猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜，而土豆这种我觉得应该用的很多的主材，却这么少。

OK，这边我们就只做简单的分析即可，如果有同学有兴趣，可以在分析下去，我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用， 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难，只要我们开始动手去做，人人都可数据可视化图表来，这就是工具的价值。

所以我们设计中心也在思考，有没有可能在图表之上，提供更好的数据可视化工具，而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具，我们在这个方向前进，推出一款更好的大数据可视化工具。

大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。

大数据可视化工具的市场竞争格局

海比研究认为，大数据可视化工具的厂商主要来自四类：一类是提供商业智能可视化工具的软件服务商;第二类是新兴可视化工具提供商;第三类是互联网巨头公司;第四类是互联网大数据服务商。

提供商业智能可视化工具的软件服务商，国内主要代表为帆软、永洪科技、四方伟业、SMARTBI等，国外主要代表为SAP BO、IBM Cognos、Oracle BIEE、Microsoft BI等。

从综合情况来看，国外厂商相对具有技术过硬、功能强大的优势，但在具体落地国内应用时，普遍存在使用复杂、价格高、服务支持不到位的问题；而国内厂商则恰恰相反，在价格、服务以及产品易用方面具有优势，而在技术研发实力方面还有待提升。

在这些厂商中，以帆软和永洪为代表的敏捷BI厂商，其投入成本较低，呈现出平民化、易于操作的特点，企业客户尤其是大量中小企业客户，可以通过较低的投入享受到专业的大数据服务。而相对应的SAP、IBM、Oracle等国外厂商，因为产品较重、使用门槛较高、价格昂贵，只有大型企业客户才会使用。

新兴的可视化工具提供商，国内厂商主要代表有数字冰雹、恒泰实达等，国外主要代表有Tableau、Qlik、Microstrategy等。

这些厂商的产品均定位于企业级应用而非部门级应用，数据分析平台内置高性能数据仓库，同时提供与外部数据对接的各类接口，可独立部署，也可以与客户原本的数据仓库进行对接。在可视化展示部分具有展示内容主题化、展示画面风格统一化、展示效果直观化和简单化的特点。

此外，这些厂商在实施周期、集成能力以及咨询能力方面均有优势。由于其产品性能稳定、可配置性高，客户群体主要为党政军及大企业客户，如各地级市政府部门、军工企业、军事科研院所及作战部队等。

来自互联网巨头公司的可视化厂商，主要的代表有网易有数、百度图说、阿里云数加等。

这些互联网厂商从云端切入大数据、BI市场。在互联网行业，数据的沉淀周期更短，通常产品一上线就会有相应的网站数据分析、用户转化路径分析等基本的数据分析需求。数据在云端，无论是从数据获取、处理、分析的便捷性、应用成本还是解决方案的架构等各个方面考虑，都具备了很强的操作性和可行性。

业务云端化是趋势，数据云端化也是趋势，数据使用云端化也是趋势。互联网巨头的生态体系也是一个不可忽视的重要因素，在数据市场上，用一个生态相较于单个厂商，在技术实力、安全性和稳定性、价格、服务支持、品牌地位等方面均有绝对优势。

互联网大数据服务商，主要以海云数据，友盟等为代表。

这些互联网大数据服务商，能够提供快速有效的处理海量、密集的多源异构数据的解决方案。在提供多行业、多场景、具备通用性综合解决方案的同时，不断构建自身大数据生态平台。目前，这些厂商也在积极布局人工智能，通过AI能力服务平台赋予端用户，落地企业业务。

纵观整个市场，大数据可视化工具产品可谓百花齐放，不同背景的厂商在这个概念下提供着自己的产品和服务。目前，国内可视化工具市场仍处于发育阶段，但如果能针对复杂的数据分析场景，为各种规模的企业提供灵活易用的全业务链的大数据分析解决方案，满足不同行业的企业用户需求，有能力覆盖多个行业，那么这些厂商就能够引领潮流发展。

四大角度剖析大数据可视化工具的现状

现在，企业更加注重分析数据、发现问题、找解决方案、实施交付的闭环实现，这就需要提供可视化工具的厂商能够在平台功能和服务能力方面实现双重支撑。除了提供有丰富功能的数据分析平台外，还应具备数据咨询能力。

从厂商、产品、技术、企业需求四大角度呈现大数据可视化产品的发展现状：

从厂商角度来看，大数据可视化工具厂商呈现出明显的马太效应。处于行业第一梯队的品牌知名度和市场份额与其他厂商的距离进一步拉大。综合实力强大的厂商更能投入资源做好产品、服务，解决更多用户的需求和问题。

在产品现状方面，大数据可视化工具已经不止于满足使用传统的数据可视化工具对数据仓库中的数据抽取、归纳并简单的展现，还需满足互联网爆发的大数据需求，快速收集、筛选、分析、归纳、展现决策者所需要的信息，并根据新增的数据进行实时更新。现有的大数据可视化工具具有直观、交互性、实时三大特征。

从技术角度来看，未来AI将与BI深度集成。BI满足了企业在数据分析、问题诊断、决策支持上的需求，AI则满足了业务预测、问题预警、探究数据背后的关联关系等深层次需求。相比AI，经过十几年发展的BI，其可视化能力、敏捷易用性、数据准备能力、高性能处理能力都可让AI借力。

从企业用户需求来看，一方面，在一二线稍具业务规模的企业目前已经上线了各种业务系统，存储了大量的数据，他们迫切需要挖掘数据价值提升市场竞争力，降低企业运营成本。另一方面，企业虽然已经具备了进行数据分析和数据化管理的各种条件，但是由于企业缺少对大数据关键节点有效整合的价值方案，决策者在进行业务决策时，往往会陷入信息孤岛。在实现业务应用的最终判断时，决策者往往需要调配大量资源，导致人力与资金的高度浪费。

三大趋势看大数据可视化工具发展

目前市场上现有的大数据可视化工具，虽然能满足大部分企业的需求，但是还存在很多不足的地方。比如，在可操作性与功能丰富度方面；提升数据处理量级后的秒级响应；提升自身元数据管理能力、ETL处理能力以及数据存储能力；与多个系统融合同时支持移动端的数据共享和查看；提供灵活丰富的用户管理功能、权限控制功能，确保企业的数据安全和信息保密等方面还有待提升。

未来，有洞察力的数据可视化工具可以更好助力企业IT决策，具体来看，大数据可视化工具发展将呈现三大趋势：

趋势一、增强功能丰富度，支持多维度数据分析

可视化分析工具需要拥有性能强大的数据处理平台，支持嵌入式部署，如主流的应用服务器，支持跨平台的权限集成和页面集成。通过专业的统计数据分析方法，提升数据挖掘能力，数据处理能力以及数据管理能力。

通过不断丰富产品功能，尤其在可视化图形的展现多样性以及多个视图整合方面，帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。通过不断改善分析的功能和可操作性，让前端布局自定义搭配，让业务人员随心所欲布置，为不同用户提供个性化的视觉体验。

趋势二、数据视图交互联动，推动企业决策

将数据分析结果通过AI输出系列可视化图表，除了原有的饼状图、柱形图、热图、地理信息图等数据展现方式，还可以通过图像的颜色、亮度、大小、形状、运动趋势等多种方式在一系列图形中对数据进行分析，帮助用户通过交互，挖掘数据之间的关联。

将每一项数据在不同维度指标下交互联动，展示数据在不同角度的走势、比例、关系，帮助使用者识别趋势，发现数据背后的知识与规律。并支持数据的上钻下探、多维并行分析，利用数据推动决策。

趋势三、强大的大屏展示以及分享功能

支持主从屏联动、多屏联动、自动翻屏等大屏展示功能，可实现高达上万分辨率的超清输出，并且具备优异的显示加速性能，支持触控交互，满足用户的不同展示需求。

可以将同一主题下的多种形式的数据综合展现在同一个或分别展示在几个高分辨率界面之内，实现多种数据的同步跟踪、切换;同时提供大屏幕触控屏，作为大屏监控内容的中控台，通过简单的触控操作即可实现大屏展现内容的查询、缩放、切换，全方位展示企业信息化水准。

根据不同的用户创建的分析页面，可以方便地分享给其他成员。同时，在企业的分析用户设计仪表板时，可以复用仪表板中的图表、维度、指标等，支持用户分享指定页面进行给其他部门成员，便于互动沟通交流。

要想在激烈的市场竞争中脱颖而出，除了自身的产品功能要足够强大外，还需要厂商持续不断的在研发领域投入并形成优势。除此之外，还需要有非常强的市场和行业洞察和服务能力，为客户创造价值。

日前，中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会发布了《2017年中国大数据可视化市场研究报告》。这份业界首次发布的大数据可视化报告认为，2017年中国大数据可视化市场收入规模为12.7亿元，年增长率为45.2%。2017年中国大数据可视化市场份额排名第一位的是恒泰实达，占比7.7%，收入增长最快的厂商是东软。

大数据可视化是利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。大数据可视化是大数据产业链中的基础支撑产业，在大数据行业中，数据可视化起到的作用是更好的分享和传达数据信息，更多的服务于态势监控和综合决策，是技术和艺术充分结合的领域。大数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。

日前，中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会发布《2017年中国大数据可视化市场研究报告》，报告显示，2017年中国大数据可视化市场收入规模为12.7亿元，年增长率为45.2%。

2017年中国大数据可视化市场规模

目前，大数据可视化成为大数据行业热点，市场处于快速增长初期，可视化工具种类越来越多，应用需求的多样化催生了从场景衍生出来的定制化服务。

大数据可视化市场的厂商主要来自这几类：一类是提供商业可视化产品的软件服务商，国内有帆软、永洪科技、东软、四方伟业、SMARTBI等，国外有SAP BO、IBM Cognos、Oracle BIEE、Microsoft BI 等传统商业智能软件服务商。第二类是新兴的可视化产品提供商，国内有恒泰实达、数字冰雹、海致BDP等，国外有Tableau、Qlik、Microstrategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，他们的大数据平台的可视化基本都是自己设计开发，同时也售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。

2017年中国大数据可视化市场份额排名第一的是恒泰实达

《2017年中国大数据可视化市场研究报告》显示，2017年大数据可视化市场排名第一的是恒泰实达，占比7.7%，第二是数字冰雹，占比6.3%，第三是东软，占比5.1%，其后依次是帆软占比4.9%，四方伟业占比4.7%，永洪科技占比3.3%，海云数据占比3.2%，海致BDP占比3.1%。

2017年中国大数据可视化市场份额

2017年中国大数据可视化市场增长最快的厂商是东软

随着大数据产业的蓬勃发展，大数据可视化引起了众多厂商的关注，2017年大数据可视化领域增长最快的厂商是东软，增长率超过100%。东软 SaCa DataViz 作为新一代可视化产品不仅具备海量数据的秒级分析能力，而且能高效地实现数据的高端展现。从一组杂乱无序的业务数据，到带有价值信息的炫酷图册，整个探索与制作的全过程都非常方便、快捷，同时又在发展中持续创新，在大数据量计算、3D可视化方面不断突破，目前已服务于政府、金融、医疗、制造、教育等10 余个行业，拥有众多典型客户。同时，东软数据可视化SaaS服务也在飞速发展，在线数据可视化云服务"图表秀" 以在线图表制作为切入点，目前已经累积百万级用户。

2018年中国大数据可视化市场还处在竞争非常激烈的阶段，市场份额比较分散，厂商占比都不高，份额差距不大，哪家厂商能在客户需求把握、用户体验、视觉表现等方面建立自己的竞争优势，就能在群雄逐鹿的市场中进一步扩大份额。

众所周知，选择一款好用的大数据可视化展示工具是很多企业的共同问题。现在市面上，有很多的大数据可视化工具，国内外的，价位也不同。但是如果能万里挑一，选中一款适合自家企业的大数据可视化BI产品，可以说如虎添翼，实现企业大数据完美落地之路。因为，优秀的大数据可视化展示工具，不仅仅是使用敏捷，而且还可以帮助企业家更好地做决策，这一点是很多大数据可视化工具很难实现的一个高度。

那接下来就回到本文的主题：选择一款大数据可视化展示工具，要几步？其实，挑选BI工具没有固定的步骤，只是说在挑选过程中，客户应该看重和考察哪些功能点，综合考虑之后再敲定。而一款优秀的大数据可视化展示工具核心在于优秀的商业智能解决方案。那么，目前最新的对于优秀的商业智能解决方案的要求，都有哪些呢？

采用动态报告

当企业需要实施商业智能解决方案时您应该考虑动态报告。动态报告可以随意创建，操作和修改。

它们旨在为企业提供想要的信息。企业可以通过添加、过滤，以及更改信息来控制如何查看数据。

当企业使用动态报告分析销售指标时，可以按地区，产品或客户细分信息。简而言之，动态报告是直接而直观的。静态分析报告无法提供其相同的灵活性。一旦建立了静态报告，就不能改变其基本结构。

对于像提交月度报告和季度报告，这可能没有问题，但是，企业将无法深入分析数据。

自助式商业智能

在数据分析方面，传统上只有专家能够理解复杂的报告。而另一方面，商业智能使数据分析更加简单。现在任何级别的用户都可以随时轻松访问数据。这就是为什么自助式商业智能越来越受欢迎的原因。它允许人们使用商业智能解决方案来实时研究数据，并自行构建准确的可视化报告。

选择合适的商业智能提供商提供的解决方案，将为企业的工作人员提供易用性。

移动商业智能

根据阿伯丁集团的数据，使用移动商业智能的公司比没有采用的公司有更多的时间获得商业数据。这是一个竞争优势，因为能够做出明智的商业决策。

着眼未来

对商业智能解决方案的投资是企业对其业务未来的投资。如果企业选择一个正在向前发展的供应商，其业务也将向前发展。许多供应商声称其正在寻找方向，但实际上他们正在追赶。

获得权利

一个优秀的商业智能提供商已经投入巨资为您的整个业务交付结果，而不仅仅是销售。

顶级的大数据可视化展示工具供应商可以深入了解客户的购买模式，库存水平和财务数据。他们甚至应该为复杂的业务领域提供解决方案，例如回扣。

企业应该选择一个用户友好的产品，并提供简单的仪表板。供应商应提供卓越的客户支持，愿意帮助企业实现目标。因为优秀的大数据可视化展示工具供应商可以为客户带来快乐。

大数据仅仅是因为“大”吗？

随着智能硬件的快速普及和互联网的迅猛发展，您的每一次搜索点击，都将成为大数据的一部分。数据的规模，也呈现几何级数的增长，2016年市场调研机构 IDC预计，未来全球数据总量年增长率将维持在50％左右，到2020年，全球数据总量将达到40ZB(Zettabyte,万亿GB)。其中，我国数据量将达到8.6ZB，占全球的21％左右。

然而，数据量之大仅是大数据的一个基础特征，行业中将大数据特点归纳为4个” v”，即多样性(Variety)、体量(Volume)、速度(Velocity)和价值(Value),表示多样化的数据源（文本、图片、视频等）、巨大的数据量、处理速度快、且价值密度低，需通过人工智能算法进行深入挖掘。

上海藤榕作为钱宝的“大脑”，数据来源十分丰，诸如用户的基础数据、微商业务系统的交易信息、社区媒体平台的 U(User Generated Content)、钱宝胛 P移动端的 LBS(Location-Based Service)信息、共享单车的状态数据等，涵盖表格、文本、图片及视频等各种数据类型。目前日增数据量约500GB；仓库数据总量己经超越 PB级别，数据记录达百亿规模，且每年以3的速度递增，是名副其实的大数据平台。

数据可视化如何实现？

数据给人的直观感受千差万别：有时冰冷枯燥，让人心生畏惧、摸不到头脑：有时生动有趣，让人一目了然，恍然大悟。之所以能达到后一种效果，数据可视化技术发挥着重要作用，让用户在解读数据背后商机的同时，享受视觉表达之美。

数据可视化本身的应用价值、丰富性和表现力，需要参与者有强大的专业背景支持。通过动态或者静态的可视化图形，让用户能洞察(Insight)业务、发现关联，理解更深层次的规律和价值。

我们基于用户对数据可视化的不同目的，随之调整数据的视觉表达形式，例如：

跟踪数据。需考虑实时性及计算能力，形成一份不停变化、可读性强的图表。

分析数据。强调数据的表现形式，生成一份可检索的交互式图表。

发现关联。需要生成一份分布式的多维图表。

理解数据。利用多色彩、动画等形式，创建生动、清晰、有吸引力的图表。

例如，我们通过数据墙、业务运营支撑系统以及线下报告的方式，为用户提供清晰的图表，支持或指导其业务方向的调整。

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

更清楚地查看分析结果简化正在使用的数据中的复杂性了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

实时拖放聚类分析交叉数据源加入强大的数据连接器移动启用实时的地区或区域数据探索

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

自动化建立网站和网页访问和操作数据计算统计创建可视化报告建立预测和解释模型评估额外数据的模型将模型整合到生产系统中

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。