大数据可视化分析工具一直以来在很多人眼里更多是促进业务发展的数据化管理软件。作为教人育人的国家基础行业——教育行业，很多人联想不到这个行业需要用到大数据可视化分析工具。其实，随着社会发展，现代教育只会越来越发达，那么就需要同样先进智慧的可视化数据分析工具来协助教育管理工作。在最新的行业资讯中称，大数据在越来越被需要，并运用到该行业里，这是社会发展的必然趋势。那么可视化数据分析工具究竟将如何运用到教育行业的工作当中呢？我们来听听最新资讯的观点。

1、重心变化

在大数据时代，教师更关注学生的个性特征。将统一形式、集体化的教学转变为信息技术支持下的教学。也就是说在了解学生的认知能力和知识结构的前提下，将知识进行迁移、整合并进行传授。

2、精准满足需求

这里所说的精准满足用户需求，就是说要将教育信息及时的传送给有需求的用户。譬如一个学生近期要进行英语培训，那么有关英语培训的信息会及时的传送给该学生。根据用户的学习习惯、生活习惯会有一个智能的数据匹配，这样一来，该用户所收到的资讯和信息也正是自己所需求的。

3、精准进行广告投放

在大数据时代，用户的的行为习惯很容易通过一些数据分析推测出来。一些教育及培训机构可以通过数据分析，将用户进行锁定进行广告的投放。譬如用户打开手机的频次以及用户在某一时间段的习惯性行为。通过大数据可以将自己的广告精准投放给需求的用户。

大数据可视化分析工具可以在教育平台上跟踪和关注老师和学生的教学、学习过程，记录老师和学生的课堂表现以及课下行为的数字化痕迹，通过在教育活动中点滴微观行为的捕捉，为教育管理机构、学校、老师和家长提供最直接、客观、准确的教育结果评价等。所以，现在你懂了吗？

大数据仅仅是因为“大”吗？

随着智能硬件的快速普及和互联网的迅猛发展，您的每一次搜索点击，都将成为大数据的一部分。数据的规模，也呈现几何级数的增长，2016年市场调研机构 IDC预计，未来全球数据总量年增长率将维持在50％左右，到2020年，全球数据总量将达到40ZB(Zettabyte,万亿GB)。其中，我国数据量将达到8.6ZB，占全球的21％左右。

然而，数据量之大仅是大数据的一个基础特征，行业中将大数据特点归纳为4个” v”，即多样性(Variety)、体量(Volume)、速度(Velocity)和价值(Value),表示多样化的数据源（文本、图片、视频等）、巨大的数据量、处理速度快、且价值密度低，需通过人工智能算法进行深入挖掘。

上海藤榕作为钱宝的“大脑”，数据来源十分丰，诸如用户的基础数据、微商业务系统的交易信息、社区媒体平台的 U(User Generated Content)、钱宝胛 P移动端的 LBS(Location-Based Service)信息、共享单车的状态数据等，涵盖表格、文本、图片及视频等各种数据类型。目前日增数据量约500GB；仓库数据总量己经超越 PB级别，数据记录达百亿规模，且每年以3的速度递增，是名副其实的大数据平台。

数据可视化如何实现？

数据给人的直观感受千差万别：有时冰冷枯燥，让人心生畏惧、摸不到头脑：有时生动有趣，让人一目了然，恍然大悟。之所以能达到后一种效果，数据可视化技术发挥着重要作用，让用户在解读数据背后商机的同时，享受视觉表达之美。

数据可视化本身的应用价值、丰富性和表现力，需要参与者有强大的专业背景支持。通过动态或者静态的可视化图形，让用户能洞察(Insight)业务、发现关联，理解更深层次的规律和价值。

我们基于用户对数据可视化的不同目的，随之调整数据的视觉表达形式，例如：

跟踪数据。需考虑实时性及计算能力，形成一份不停变化、可读性强的图表。

分析数据。强调数据的表现形式，生成一份可检索的交互式图表。

发现关联。需要生成一份分布式的多维图表。

理解数据。利用多色彩、动画等形式，创建生动、清晰、有吸引力的图表。

例如，我们通过数据墙、业务运营支撑系统以及线下报告的方式，为用户提供清晰的图表，支持或指导其业务方向的调整。

使用DataFocus中文自然语言数据分析系统时，可以经由用户的查询问题自动生成适合数据结构的可视化图表类型，但用户也可以将图表转化成自己需要的类型，我们整理了常用的一些数据图表对应的数据场景，帮助您在探索数据和展示数据时更加的直观丰满。

图表用来显示比较结果的方式大致为高度、大小、角度等。

1 经纬图

适用于有经纬度的数据集。DataFocus内置与百度地图的接口，只要建一张精准的定位信息数据集，上传之后会自动解析，准确定位到地址。百度地图是经纬度分布图，具体到乡镇街道分布都能看得清清楚楚，这是很多人都需要的地图类型，DataFocus地图功能就支持百度地图，可以将数据导入到地图里，得到自己最终需要的可视化报表。

优势：用地图来分析和展示与位置相关的数据，让人一目了然。

2 组合图

适用于一个属性列和两个数据列的三维数据结构。组合图，顾名思义，就是由两种（柱状图和折线图）的二维图表组合而成的图表形式，常用于展现同一变量的绝对值和相对值，而不适合制作其他图表类型的组合。

优势：特别通用，属于不同图表的组合使用，图表看起来简单直观。

3 仪表图

适用于一个属性列和一个数据列的二维数据结构。仪表图是为了关注单独一个指标的表现时使用，能给出指标的安全范围和警戒范围。例如将销售额分为三个区域，并分别以黄色、蓝色和红色来区分三个区域，其中黄色表示警戒区域。从下图可以看出东北、中南和西北地区的销售额在警戒区域内，需要引起重视。

优势：能给出指标的安全范围和警戒范围。

4 雷达图

适用于一个属性列和多个数据列的多维数据结构（四维及以上），但是每个维度必须可以排序，数据点一般6个左右，不能超过50个，太多的话辨别起来有困难。

优势：主要用来了解公司各项数据指标的变动情形及其好坏趋势。

5 树形图

适用于一个（或多个）属性列和一个数据列的数据结构。树形图，是用于展现有群组、层次关系的比例数据的一种分析工作，它通过矩形的面积、排列和颜色来显示复杂的数据关系，并具有群组、层级关系展现功能，能够直观体现同级之间的比较。

优势：适合用来展示构成项目较多的结构关系，如果它们还可以继续归纳分类的话，还可以展现分类之间的比例大小及层级关系。

6 词云图

适用于一个属性列和一个数据列的二维数据结构，属性列包含的属性值要尽可能多。

优势：显示词频，可以用来做一些用户画像、用户标签的工作。

使用DataFocus中文自然语言数据分析系统时，可以经由用户的查询问题自动生成适合数据结构的可视化图表类型，但用户也可以将图表转化成自己需要的类型，我们整理了常用的一些数据图表对应的数据场景，帮助您在探索数据和展示数据时更加的直观丰满。

图表用来显示比较结果的方式大致为高度、大小、角度等。

1 柱状图

适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较高度的y轴。利用图形高度反应数据的差异，效果直观。

优势：高度差异效果较为直观。

2 折线图

同样适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴（多用在属性列为日期时展示趋势变化），数据列作为显示比较高度的y轴。一般用来表示趋势的变化，属性列类别较多时尤其适用。

优势：可以清晰地反映和表达数据的变化趋势。

3 饼图

适用于一个属性列和一个（或数个，有多个数据列时生成多环饼图）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较占比的y轴。饼图多用来展示不同类别的占比情况和比例，显示各项的大小与占总体的比例。

优势：明确直观地显示比例情况，多适用于用户群体倾向和渠道来源等场景。

4 散点图

适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较高度的y轴。多用来观察各个数据点之间的关系以及分析变量之间的联系，还可以直观的看出数据的分布情况以及特殊的离群值。

优势：对于处理数据分布和分簇来说结果较为理想。

5 漏斗图

适用于一个属性列和一个数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较程度的y轴。漏斗图适用于一个连续的流程的完成情况分析，显示各个阶段的转化率，尤其是在网站分析的用户转化的场景下很理想，能够完整的展示用户从进入到实现购买的最终转化之间的每个流程，直观的显示出问题所在。多个

优势：在转化关系中可以直观地显示出整体流程的转化率情况。

6 气泡图

适用于一个属性列和两个数据列的三维数据结构，属性列作为进行类别比较的x轴，一个数据列作为显示比较高度的y轴，一个数据列作为气泡的大小的显示。气泡图与散点图类似，不同之处在于在图表中额外加入一个表示气泡大小的变量进行两组数据的对比，多适用于反映销售场景需要同时比较两个数值的情况。

优势：比较角度多维，效果直观美观。

以“大数据分析”为关键词去进行搜索，你可以在大多数条目中看到“数据分析平台”和“可视化”的概念。

在发展受到局限时，人类喜欢并擅长于去使用工具和制造工具。

人类对图形信息的摄取效率远大于单纯的文字数字。

所以在信息流数量与流动速度爆炸都爆炸式增长的现状下，自然地催生了可视化大数据分析平台这类产品。

数据可视化旨在借助于图形化手段，清晰有效地去传达与沟通信息。丰富的图表可以通过位置、长度、角度、方向、形状、面基、体积、饱和度、色调来通过视觉暗示，达到聚焦视线表达图标含义的效果。

在企业运维决策的场景下，即是用适当的数据模型和统计分析方法对收集的企业数据进行可视化分析，转化成可视化结果清晰准确地形成结论报告，辅助企业了解运营状况、找到发展症结以及帮助决策等。

下面这张图展示了不同类型的分析需求对应的可视化类型。

根据Gartner最近的行业报告以及大会上，可以看到一些关于数据可视化未来发展的趋势。

1、 数据地图

“通过视觉探索和嵌入式的地理空间分析创建高度交互的仪表板和内容的能力。”

Gartner提到的“地理空间分析”，即为“数据地图”，专门用来展示和分析这些与地图有关的大数据，这确实是很好的功能，用来分析业务在地理层面上的数据具有相当的价值，尤其是对如今在地域上分布越发广泛的行业来说，可以精确地定位问题所在的国家城市甚至某一营业点。不仅会比单纯的表格要直观形象得多，也更具有信息沟通的有效性和专业的形象。从类型上讲，数据地图可以分为区域地图、组合地图、标记点地图、单层地图 、自定义图片地图、流向地图、热力地图等。

2、 互动式探索

“通过一系列可视化选项来进行数据探索，这些可视化选项不仅仅是基本饼图,条形图和折线图这些基本的数据图形，还包括热图和树图、数据地图、散点图和其他特殊用途的图表，更贴合各行各业的需求。这些工具使用户能够通过与数据直接地视觉交互来分析数据和操作数据。”

数据可视化的交互体验的能力主要通过易学性、易用性、UI友好性、使用效率来评价。它的表现形式主要体现在通过可视化图表直接对数据进行图形化的上卷下卷、切片旋转等操作，以及很重要的数据联动功能，给予用户全面的统筹数据问题与深入的挖掘数据问题的方法和角度。

3、 数据故事

“数据可视化要具有故事性，将数据通过可视化的方式迎合报告者的需求，帮助他们讲述一个完整的数据故事，让观看者更好的认识主题。”

数据可视化的结果之间可以互相联系形成具有故事性的看板，以更完整更多样的角度去阐述数据，展现更多的细节，将观看者拉入到这个故事中来。

4、 基于搜索的智能探索方式

“基于搜索和可视化的数据探索分析功能将作为新型BI和分析平台的组件融合到下一代的数据分析产品中。”

“到2021年，具有智能数据探索分析功能的新型BI和可视化分析平台的用户数量将是不具有这一功能的产品和平台的两倍，并且将创造两倍的商业价值”

现市面上的大部分可视化数据分析产品都采用拖拽式的探索方式，这种探索方式简单而快捷，但同时具有相当的局限性。在分析维度较多较复杂的时候，拖拽式操作反而会给用户带来多种不便，且要求用户对数据结构有深刻的理解才能形成理想的可视化结果。而类似于搜索引擎探索结果方式的搜索式探索方式不仅包含了拖拽式简单快捷的优点，更进一步的将分析人员从必须理解数据结构的前提下解脱出来，直接将业务问题输入分析平台，形成可视化结果。

5、 自然语言

“到2020年，50%的分析查询将使用搜索，自然语言处理或语音生成，或将自动生成。”

自然语言生成功能和搜索式探索方式的结合，完美契合了业务人员对数据进行可视化分析的需求，成为数据可视化的未来愿景，使平台能够理解用户使用自然语言描述的业务逻辑上的查询需求，准确转化为程序能够理解的查询语句，再生成可视化结果反馈给用户。

同 享 网 络 安 全

共 治 网 络 社 会

广州网警巡查执法

数据可视化之初级篇

零编程工具

1. Tableau

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形，表格和地图。 它不仅提供了PC桌面版，还提供了服务器解决方案，可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行，Pandora和Citrix等企业

2. Infogram

Infogram的最大优势在于，让您的可视化信息图表与实时大数据相链接。只须三个简单步骤，您可以选择在众多图表，地图，甚至是视频可视化模板中进行选择。 Infogram支持团队账号。

3. ChartBlocks

ChartBlocks是一个易于使用在线工具，它无需编码，便能从电子表格，数据库中构建可视化图表。整个过程可以在图表向导的指导下完成。您的图表将在HTML5的框架下使用强大的JavaScript库D3.js创建图表。你的图表是响应式的，并且可以和任何的屏幕尺寸及设备兼容。 您还可以将图表嵌入任何网页中，分享在Twitter和Facebook上。

4. Datawrapper

Datawrapper是一款专注于新闻和出版的可视化工具。华盛顿邮报，卫报，华尔街日报和Twitter等媒体都使用了这一工具。Datawrapper非常容易使用，不需要任何编程基础。你只需要上传你的数据，便能轻松地创建和发布图表，甚至是地图。Datawrapper提供了众多的自定义布局及地图模板。

5. Plotly

Plotly帮助你在短短几分钟内，从简单的电子表格中开始创建漂亮的图表。Plotly已经为谷歌、美国空军和纽约大学等机构所使用。 Plotly是一个非常人性化的网络工具，让你在几分钟内启动。如果你的团队希望为JavaScript和Python等编程语言提供一个API接口的话，Plotly是一款非常人性化的工具。

6. RAW

RAW弥补了很多工具在电子表格和矢量图形（SVG）之间的缺失环节。你的大数据可以来自MicrosoftExcel中，谷歌文档或是一个简单的逗号分隔的列表。它最厉害的功能是可以很容易地导出可视化结果，因为它和Adobe Illustrator，Sketch 和Inkscape是相容的。

7. Visual.ly

Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，用户包括了VISA，耐克，Twitter，福特和国家地理等。如果你想完全外包可视化文件给第三方。你可以使用非常简化的在线流程：你只需描述你的项目，服务团队将在项目的整个持续时间内和你在一起。 Visual.ly给您发送所有项目关键点的邮件通知，也将让你不断给出反馈。

数据可视化之开发展篇

JavaScript库

8. D3.js

毋容置疑D3.js是最好的数据可视化工具库。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是开源工具，使用数据驱动的方式创建漂亮的网页。 D3.js可实现实时交互。这个库非常强大和前沿，所以它带有没有预置图表也不支持IE9。

9. Ember Charts

Ember Charts – 顾名思义是一种基于Ember.js框架和使用d3.js的可视化工具。Ember Charts以绘制时间序列图，柱状图，饼图和散点图为主。它非常优易于扩展。同为Ember.js开发团队，Ember Charts聚焦于图形互动性。它有极强的错误处理能力，当你遇到坏数据时，系统也不会崩溃。

10. NVD3

NVD3运行在d3.js之上, 它可建立可重用的图表组件。该项目的目标是保持所有的图表整洁和可定制性。 NVD3是d3.js之上的简单的接口，保持了d3.js的所有强大功能。 NVD3由Novus Partners前端工程师开发和使其保持了图表技术洞察力。

11. Google Charts

Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器。所有您将创建的图表是交互式的，有的还可缩放。Google Charts是非常人性化和他们的网站拥有一个非常好的，全面的模板库，你可以从中找到所需模板。

12. FusionCharts

FusionCharts是最全面的JavaScript图表库，包括90个图表和900种地图。如果你不是特别喜欢的JavaScript。FusionCharts可以轻松集成像jQuery库，Angularjs和React框架以及ASP.NET和PHP语言。 FusionCharts支持JSON和XML数据，并提供许多格式图表：PNG，JPEG，SVG和PDF。

13. Highcharts

Highcharts是一个JavaScript API与jQuery的集成，全球最大的100家公司中有61家正在使用它。图表使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型：Highstock和Highmaps，并且还配备了一系列的插件。你可以免费使用它，而如果你想建立付费的应用，只须支付少量牌照费用。此外，你还可以使用Highcharts云服务。

14. Chart.js

对于一个小项目的图表，chart.js是一个很好的选择。开源，只有11KB大小，这使得它快速且易于使用，它支持多种图表类型: 饼图，线性图和雷达图等。

15. Leaflet

你是否专注于专业的大数据解决方案？无需饼图和条形图？Leafleft 基于Open Street Map数据，使用HTML5 / CSS3绘制互动式可视化图。您可以使用他们的扩展插件库添加热点图（heatmaps）和动画标记。 Leaflet 是开源和只有33 KB大小。

16. Chartist.js

Chartist.js的开发社区一直致力于打败所有其他JavaScript图表库。它使用了Sass的个性化风格，它的SVG输出是响应式的。

17. n3-charts

N3-charts是一种基于AngularJS框架的工具。它建立在D3.js之上，帮助您创建简单的互动图表。 N3-charts是一种小型化的图表工具，不适用于大型项目。

18. Sigma JS

Sigma JS 是交互式可视化工具库。由于使用了WebGL技术，你可以使用鼠标和触摸的方式来更新和变换图表。Sigma JS同时支持JSON和GEXF两种数据格式。这为它提供了大量的可用互动式插件。Sigma JS 专注于网页格式的网络图可视化。因此它在大数据网络可视化中非常有用。

19. Polymaps

Polymaps是一款地图可视化一个JavaScript工具库。 Polymaps使用SVG实现从国家到街道一级地理数据的可视化。您可以使用CSS格式来修改你的样式。Polymaps使用GeoJSON来解释地理数据。它是创建heatmap热点图的最好的工具之一。您创建的所有地图都可以变成动态图。

20. Processing.js

Processing.js是一个基于可视化编程语言的JavaScript库。作为一种面向Web的JavaScript库，Processing.js是您能够有效进行网页格式图表处理。这使得它成为了一种非常好交换式可视化工具。 Processing.js需要一个兼容HTML5的浏览器来实现这一功能。

来源：数据分析

精彩回顾

图解：建设网络强国，习近平在网信工作会上提出这些重大论断！

朋友圈这样发很危险！但这些事很多人不知道……

他们正在微信朋友圈窃取你的信息，赶紧拉黑！

偷信息！偷钱！手机有这10个APP赶紧删！

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

更清楚地查看分析结果简化正在使用的数据中的复杂性了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

实时拖放聚类分析交叉数据源加入强大的数据连接器移动启用实时的地区或区域数据探索

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

自动化建立网站和网页访问和操作数据计算统计创建可视化报告建立预测和解释模型评估额外数据的模型将模型整合到生产系统中

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。

大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。

大数据可视化工具的市场竞争格局

海比研究认为，大数据可视化工具的厂商主要来自四类：一类是提供商业智能可视化工具的软件服务商;第二类是新兴可视化工具提供商;第三类是互联网巨头公司;第四类是互联网大数据服务商。

提供商业智能可视化工具的软件服务商，国内主要代表为帆软、永洪科技、四方伟业、SMARTBI等，国外主要代表为SAP BO、IBM Cognos、Oracle BIEE、Microsoft BI等。

从综合情况来看，国外厂商相对具有技术过硬、功能强大的优势，但在具体落地国内应用时，普遍存在使用复杂、价格高、服务支持不到位的问题；而国内厂商则恰恰相反，在价格、服务以及产品易用方面具有优势，而在技术研发实力方面还有待提升。

在这些厂商中，以帆软和永洪为代表的敏捷BI厂商，其投入成本较低，呈现出平民化、易于操作的特点，企业客户尤其是大量中小企业客户，可以通过较低的投入享受到专业的大数据服务。而相对应的SAP、IBM、Oracle等国外厂商，因为产品较重、使用门槛较高、价格昂贵，只有大型企业客户才会使用。

新兴的可视化工具提供商，国内厂商主要代表有数字冰雹、恒泰实达等，国外主要代表有Tableau、Qlik、Microstrategy等。

这些厂商的产品均定位于企业级应用而非部门级应用，数据分析平台内置高性能数据仓库，同时提供与外部数据对接的各类接口，可独立部署，也可以与客户原本的数据仓库进行对接。在可视化展示部分具有展示内容主题化、展示画面风格统一化、展示效果直观化和简单化的特点。

此外，这些厂商在实施周期、集成能力以及咨询能力方面均有优势。由于其产品性能稳定、可配置性高，客户群体主要为党政军及大企业客户，如各地级市政府部门、军工企业、军事科研院所及作战部队等。

来自互联网巨头公司的可视化厂商，主要的代表有网易有数、百度图说、阿里云数加等。

这些互联网厂商从云端切入大数据、BI市场。在互联网行业，数据的沉淀周期更短，通常产品一上线就会有相应的网站数据分析、用户转化路径分析等基本的数据分析需求。数据在云端，无论是从数据获取、处理、分析的便捷性、应用成本还是解决方案的架构等各个方面考虑，都具备了很强的操作性和可行性。

业务云端化是趋势，数据云端化也是趋势，数据使用云端化也是趋势。互联网巨头的生态体系也是一个不可忽视的重要因素，在数据市场上，用一个生态相较于单个厂商，在技术实力、安全性和稳定性、价格、服务支持、品牌地位等方面均有绝对优势。

互联网大数据服务商，主要以海云数据，友盟等为代表。

这些互联网大数据服务商，能够提供快速有效的处理海量、密集的多源异构数据的解决方案。在提供多行业、多场景、具备通用性综合解决方案的同时，不断构建自身大数据生态平台。目前，这些厂商也在积极布局人工智能，通过AI能力服务平台赋予端用户，落地企业业务。

纵观整个市场，大数据可视化工具产品可谓百花齐放，不同背景的厂商在这个概念下提供着自己的产品和服务。目前，国内可视化工具市场仍处于发育阶段，但如果能针对复杂的数据分析场景，为各种规模的企业提供灵活易用的全业务链的大数据分析解决方案，满足不同行业的企业用户需求，有能力覆盖多个行业，那么这些厂商就能够引领潮流发展。

四大角度剖析大数据可视化工具的现状

现在，企业更加注重分析数据、发现问题、找解决方案、实施交付的闭环实现，这就需要提供可视化工具的厂商能够在平台功能和服务能力方面实现双重支撑。除了提供有丰富功能的数据分析平台外，还应具备数据咨询能力。

从厂商、产品、技术、企业需求四大角度呈现大数据可视化产品的发展现状：

从厂商角度来看，大数据可视化工具厂商呈现出明显的马太效应。处于行业第一梯队的品牌知名度和市场份额与其他厂商的距离进一步拉大。综合实力强大的厂商更能投入资源做好产品、服务，解决更多用户的需求和问题。

在产品现状方面，大数据可视化工具已经不止于满足使用传统的数据可视化工具对数据仓库中的数据抽取、归纳并简单的展现，还需满足互联网爆发的大数据需求，快速收集、筛选、分析、归纳、展现决策者所需要的信息，并根据新增的数据进行实时更新。现有的大数据可视化工具具有直观、交互性、实时三大特征。

从技术角度来看，未来AI将与BI深度集成。BI满足了企业在数据分析、问题诊断、决策支持上的需求，AI则满足了业务预测、问题预警、探究数据背后的关联关系等深层次需求。相比AI，经过十几年发展的BI，其可视化能力、敏捷易用性、数据准备能力、高性能处理能力都可让AI借力。

从企业用户需求来看，一方面，在一二线稍具业务规模的企业目前已经上线了各种业务系统，存储了大量的数据，他们迫切需要挖掘数据价值提升市场竞争力，降低企业运营成本。另一方面，企业虽然已经具备了进行数据分析和数据化管理的各种条件，但是由于企业缺少对大数据关键节点有效整合的价值方案，决策者在进行业务决策时，往往会陷入信息孤岛。在实现业务应用的最终判断时，决策者往往需要调配大量资源，导致人力与资金的高度浪费。

三大趋势看大数据可视化工具发展

目前市场上现有的大数据可视化工具，虽然能满足大部分企业的需求，但是还存在很多不足的地方。比如，在可操作性与功能丰富度方面；提升数据处理量级后的秒级响应；提升自身元数据管理能力、ETL处理能力以及数据存储能力；与多个系统融合同时支持移动端的数据共享和查看；提供灵活丰富的用户管理功能、权限控制功能，确保企业的数据安全和信息保密等方面还有待提升。

未来，有洞察力的数据可视化工具可以更好助力企业IT决策，具体来看，大数据可视化工具发展将呈现三大趋势：

趋势一、增强功能丰富度，支持多维度数据分析

可视化分析工具需要拥有性能强大的数据处理平台，支持嵌入式部署，如主流的应用服务器，支持跨平台的权限集成和页面集成。通过专业的统计数据分析方法，提升数据挖掘能力，数据处理能力以及数据管理能力。

通过不断丰富产品功能，尤其在可视化图形的展现多样性以及多个视图整合方面，帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。通过不断改善分析的功能和可操作性，让前端布局自定义搭配，让业务人员随心所欲布置，为不同用户提供个性化的视觉体验。

趋势二、数据视图交互联动，推动企业决策

将数据分析结果通过AI输出系列可视化图表，除了原有的饼状图、柱形图、热图、地理信息图等数据展现方式，还可以通过图像的颜色、亮度、大小、形状、运动趋势等多种方式在一系列图形中对数据进行分析，帮助用户通过交互，挖掘数据之间的关联。

将每一项数据在不同维度指标下交互联动，展示数据在不同角度的走势、比例、关系，帮助使用者识别趋势，发现数据背后的知识与规律。并支持数据的上钻下探、多维并行分析，利用数据推动决策。

趋势三、强大的大屏展示以及分享功能

支持主从屏联动、多屏联动、自动翻屏等大屏展示功能，可实现高达上万分辨率的超清输出，并且具备优异的显示加速性能，支持触控交互，满足用户的不同展示需求。

可以将同一主题下的多种形式的数据综合展现在同一个或分别展示在几个高分辨率界面之内，实现多种数据的同步跟踪、切换;同时提供大屏幕触控屏，作为大屏监控内容的中控台，通过简单的触控操作即可实现大屏展现内容的查询、缩放、切换，全方位展示企业信息化水准。

根据不同的用户创建的分析页面，可以方便地分享给其他成员。同时，在企业的分析用户设计仪表板时，可以复用仪表板中的图表、维度、指标等，支持用户分享指定页面进行给其他部门成员，便于互动沟通交流。

要想在激烈的市场竞争中脱颖而出，除了自身的产品功能要足够强大外，还需要厂商持续不断的在研发领域投入并形成优势。除此之外，还需要有非常强的市场和行业洞察和服务能力，为客户创造价值。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品