之前写过几篇大数据的文章《遇见大数据可视化 ：基础研究》，《遇见大数据可视化 ： 来做一个数据可视化报表》，《遇见大数据可视化 ： 图表的视觉系统感知》。得到了身边不少小伙伴的认可，都觉得数据可视化是一件挺有意思的事情，纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了，很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘（学习Python，JavaScript，R语言等等），再到可视化图表的设计（学习Processing，D3.js，PhotoShop，Illustrator等等），还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化，但陡峭的学习成本，让很多小伙伴望而却步，看到各种复杂的教程，简直是从入门到放弃。

那么有没有什么好的办法，可以不用学习这么多的知识点，而能做一些不太复杂的数据可视化图表出来呢？答案肯定是有的，那下面就手把手的带领大家，零代码来做数据可视化图表。

【生产力有两项，一项是人，一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来，很简单，只要选好工具来就可以了。网上有很多介绍各种工具的文章，这里就不一一的去粗浅的介绍各种工具，而是深入的用案列的方式带大家了解我觉得还不错的可视化工具（数据挖掘和可视化图表），目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式，那首先需要确定我们做什么主题。作为一个四川人，每次做自我介绍的时候，都会说到四川的美食，川菜作为中国八大菜系之一，还是深受广大人民的喜爱的。那么我们就用数据，来看看川菜和中国其他菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）到底有什么不同，来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了，下一步就是数据的挖掘。 一般来说，基础数据的来源分为这几类。

自家数据– 自家应用APP收集的数据。不对外输出，最好的数据来源，纯洁数据拿来就可以用。行业报告– 上市公司的年报、半年报、工商系统、股转系统。定期对外输出，有干扰项。政府官方数据– 国家统计局，中国环境监测总站，世界银行等。定期对外输出，或有接口API，干扰项较少。全网公开数据– 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据，干扰项较多，一般都需要做二次数据清理。

那这次我们要做菜谱的分析，自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番，就发现了很多的菜谱网站，比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等，这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据，因为【美食天下】刚好有按照菜系进行分类，这样我们在做二次数据清理的时候，就可以减少一个步骤了。

上图就是我们需要爬取的一条内容。有了爬取网站，确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢？代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io对于简单的数据爬取足够用的工具，简单的了解，10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步：输入需要爬取的网站地址，然后点击【开始爬取】。

第二步：设置爬取规则。点击【开始爬取】后，会进入这个界面，在这个页面进行爬取规则的制定（就是选择出我们需要获取的内容），只需点击我们想要的内容即可，下图绿色区域就是我们需要的内容，然后点击【完成创建】。

第三步：执行下载数据。这步就可以下载数据了，只需三步造数就能得到想要的数据，而不需要各种配置。

下图就是下载下来的原始数据，大致是这样的，全部汇总在一个Excel表中。在这里有菜谱名称，网站地址，和所需原料。当然不是所有内容都是我们需要用的，这时候就需要对原始数据进行清理，删除，汇总等处理。

因为数据量不大，对于原始数据的处理，我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的，所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的，那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中，如下图所示。

文本分列后，把它聚合到一起，然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序，我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程，及数据挖掘和清理汇总。在这里我们用到了两个工具，一个是【造数】用做数据的爬取，一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的，比如国内的Gooseeker（集收客），八爪鱼。国外的Kimono，import.io。但是我们的目标是能快速的上手做一些简单数据挖掘，所以这里给大家推荐的是造数，它规则提取足够简单，能通过可视化的简洁的方式来设置提取规则，同时爬取路线很清晰，很容易就能理解它是怎么运行的，从而快速上手。而【Excel表格】也是我们办公常用的软件，对于数级不大数据源，我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后，我们就可以开始进入可视化图表制作这一步了。关于图表的制作，其实用Excel就能完成的。不过Excel图表的默认样式，和图表的对应数据的关系都做的十分不友好的，你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的，而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp/home.html 。BDP把数据拆分出来，把图表的维度和数值列出来，通过拖拽的方式进行数据分析，完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了，感兴趣的去试试，很快就能上手开始做图表的了。下面我们就来看下，用BDP做出的图表，来看看中国八大菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）有什么不同。

我们在【美食天下】的网站中，一共爬取了1062篇菜谱，其中川菜就有350篇，就占了总量的三分之一的量，全国人民还是都比较喜欢吃川菜的，真可为八大菜系之首的。而紧跟其后的就是粤菜，也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是：盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是：盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西，川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人，还是不能理解为什么需要放耗油来做菜，耗油不只是用在吃火锅的时候做蘸碟吗？还有居然没有豆瓣酱，豆瓣酱才是做菜的王道呀，炒菜放点豆瓣酱味道一下就来了。

再看下，把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的，60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖（PS：据大厨了解，加白糖多是为了上色，而非让味道变甜），而豆瓣酱在Top15中已经没见了，果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去，只看下主材的情况。在主材中鸡蛋出现了121次，也就是说10%菜品用到了鸡蛋，上榜率相当高的。紧接着就是猪肉，这个也是意料之中的。如果把排骨等也归为猪肉的话，猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜，而土豆这种我觉得应该用的很多的主材，却这么少。

OK，这边我们就只做简单的分析即可，如果有同学有兴趣，可以在分析下去，我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用， 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难，只要我们开始动手去做，人人都可数据可视化图表来，这就是工具的价值。

所以我们设计中心也在思考，有没有可能在图表之上，提供更好的数据可视化工具，而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具，我们在这个方向前进，推出一款更好的大数据可视化工具。

大家对可视化的使用认知或许来源于下面这张图。虽然结构很清晰，但它更多针对Excel的图表，不够丰富。本文会结合数据分析师的使用场景展示更多的可视化案例。

展示需要相比传统的用表格或文档展现数据的方式，可视化能将数据以更加直观的方式展现出来，使数据更加客观、更具说服力。在各类报表和说明性文件中，用直观的图表展现数据，显得简洁、可靠。在可视化图表工具的表现形式方面，图表类型表现的更加多样化，丰富化。除了传统的饼图、柱状图、折线图等常见图形，还有气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表，甚至还有GIS地图。这些种类繁多的图形能满足不同的展示和分析需求。

指标卡：直观展示具体数据和同环比情况；

计量图：直观显示数据完成的进度；

折线图：看数据的变动走势；

柱状图：直观展示对应的数据、可以对比多维度的数值；

双轴图：柱状图+折线图，这种图表大家都很经常用到；

饼图/环图：分析数据所占比例；

漏斗图：路径、数据转化情况；

词云：即标签云，展示词频分布；

矩形树图：分析不同维度数据的占比分布情

怎么样看到这里上面这些表，心里默数看看能做几个，一半以上不会的要学习了。

随着移动端的需求，canvas 强大的功能让它成为了 HTML5 中非常重要的部分，可视化图表，则是 canvas 强大功能的表现之一。

现在已经有了很多成熟的图表插件都是用 canvas 实现的，Chart.js、ECharts等可以制作出好看炫酷的图表，而且几乎覆盖了所有图表的实现。

有时候自己只想画个柱状图，自己写又觉得麻烦，用别人插件又感觉累赘，最后打开搜索引擎，拷段代码，粘贴上来修修改改，虽然这样实现起来非常的速度和不用太多的逻辑思维。但是毕竟复制的还是别人的东西，所以还是靠自己多撸码好一点！

效果图展示：

由于是截图的，动态效果图片就显示不出来了，大家伙懂就好！一般见过那些数据统计图表网站的都知道动态的图表是怎么运动的！

分析实现原理：

这个图表由XY轴、数据条形和标题组成。

轴线：可以使用moveTo()&line To()实现

文字：可以使用 fillText() 实现

长方形：可以使用 fillRect() 实现

实现方法：

先定义画布：

canvas 标签只是个容器，真正实现画图的还是 JavaScript。

画坐标轴：

坐标轴就是两条横线，也就是canvas里最基础的知识。

由ctx.beginPath() 开始一条新的路径

ctx.lineWidth=1 设置线条宽度

ctx.strokeStyle='#000000' 设置线条颜色

ctx.moveTo(x,y) 定义线条的起点

ctx.lineTo(x1,y1) 定义线条的终点

最后ctx.stroke() 把起点和终点连成一条线

画坐标点：

y轴上多少坐标点由自己来定义，需要获取到数据的最大值来计算y轴上的坐标值。x轴的点则由传入的数据长度决定，坐标值由传入数据的 xAxis 属性决定。

坐标值就是文字，由 ctx.fillText(value, x, y) 填充文字，value 为文字值，x y 为值的坐标

ctx.textAlign='center' 设置文字居中对齐

ctx.fillStyle='#000000' 设置文字填充颜色

动画实现：

接下来要把数据通过柱状的高低显示出来，这里有个动画效果，柱状会从0升到对应的值。在 canvas 上实现动画我们可以使用 setInterval、setTimeout 和 requestAnimationFrame。

requestAnimationFrame 不需要自己设置定时时间，而是跟着浏览器的绘制走。这样就不会掉帧，自然就流畅。requestAnimationFrame 原本只支持IE10以上，不过可以通过兼容的写法实现兼容到IE6都行。

柱状即是画矩形，由 ctx.fillRect(x, y, width, height) 实现，x y 为矩形左上角的坐标，width height 为矩形的宽高，单位为像素

ctx.fillStyle='#1E9FFF' 设置填充颜色

一个最基本的柱状图就完成了。接下来，我们可以为他添加标题。

添加标题：

要放置标题，就会发现我们一大早定义的 padding 内边距确实有用，总不能把标题给覆盖到柱状图上吧。但是标题有的是在顶部，有的在底部，那么就不能写死了。定一个变量 position 来判断位置去画出来。这个简单。

添加鼠标移动事件：

有些图表，把鼠标移上去，当前的柱状就变色了，移开之后又变回原来的颜色。这里就需要监听 mouseover 事件，当鼠标的位置位于柱状的面积内，触发事件。

那我怎么知道在柱状里啊，发现在 drawAnimation() 里会有每个柱状的坐标，那我干脆把坐标给保存到 data 里。那么鼠标在柱状里的条件应该是：

ev.offsetX >data[i].left

ev.offsetX< data[i].right

ev.offsetY >data[i].top

ev.offsetY< data[i].bottom

我们的宗旨是简明扼要

用最简单明了的方式推文

ECharts

，一个纯 Javascript 的图表库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器，底层依赖Canvas 类库 ZRender，提供直观，生动，可交互，可高度个性化定制的

数据可视化

图表。

丰富的图表类型

ECharts提供了丰富的图表类型比如常规的折线图、饼图、柱形图等详见下表

并且支持图与图之间的混搭

ECarts图表类型

坐标系丰富

ECharts提供了丰富的坐标系

ECharts坐标系

并且图表可以跨坐标系存在

散点图在地理坐标系

折线图在极坐标系

深度交互

交互是从数据中发掘信息的重要手段。“

总览为先，缩放过滤按需查看细节

”是数据可视化交互的基本需求。

ECharts的深度交互支持在数据的各种坐标轴、维度进行数据过滤、缩放。

深度数据交互

强大的大数据量展现

ECharts 在散点图中能够轻松展现上万甚至上十万的数据。下面的微博签到图中就展现了 100k+ 的签到数据。

大数据量展现

支持多维数据具备丰富视觉编码手段

ECharts 3 开始加强了对多维数据的支持。除了加入了平行坐标等常见的多维数据可视化工具外，对于传统的散点图等，传入的数据也可以是多个维度的。

配合视觉映射组件 visualMap 提供的丰富的视觉编码，能够将不同维度的数据映射到颜色，大小，透明度，明暗度等不同的视觉通道。

视觉编码

数据动态展示

ECharts 由数据驱动，数据的改变驱动图表展现的改变。只需要获取数据，填入数据，ECharts 会找到两组数据之间的差异然后通过合适的动画去表现数据的变化。配合 timeline 组件能够在更高的时间维度上去表现数据的信息。

绚丽的动画特效

ECharts 针对线数据，点数据等地理数据的可视化提供了吸引眼球的特效。

展示特效

ECarts功能总结

今天主要介绍ECarts的功能，以后介绍ECarts操作，喜欢的朋友请关注。

用的是同款Excel，为什么别人做的图表就那么突出？其实只要动点小心思，巧妙设置图表各个布局的格式，就可以制作与与众不同的图表。

例如这张表示4个不同社区的居民，最喜欢的运动方式比例图表，看起来和常规圆环图不太一样。这张图表的制作有2个要点：一是设置了辅助数据系列；二是将辅助数据系列设置为无填充无线条格式。

第1步：如下图所示，准备好原始数据，数据中要在辅助数据系列，这样才能让圆环图呈现出多层的状态。

第2步：选中原始数据，创建圆环图。

第3步：为了让圆环看起来更“厚”，这里调整一下圆环内径大小，如下图所示。

第4步：选中最外层圆环的辅助数据系列。注意，这里要双击这一小段圆环，才能单独选中辅助数据系列。如果不清楚自己是否单独选中了辅助数据，可以像下图这样，将鼠标放上去，看一下显示的信息是否是辅助数据。

第5步：单独选中辅助数据后，设置这段圆环的格式为【无填充】格式。

第6步：设置圆环的边框为【无线条】格式。此时就成功让这段圆环“消失”了。

第7步：用同样的方法，让其他的辅助数据的圆环“消失”，效果如下图所示。

第8步：为了让圆环对齐，更美观，调整一下【第一扇区起始角度】的角度，如下图所示，让圆环下方对齐。

第9步：选中圆环，单击【选择数据源】按钮，在【选择数据源】对话框中，选中不同的图例项，然后单击【上移】或【下移】按钮，将数据按照从大到小的顺序进行排序。目的是让圆环从外到内，按顺序排列，更方便信息传达。

第10步：查看效果。经过排序后的圆环图如下图所示。

第11步：设置圆环的填充色。单独选中不同的圆环，在【形状填充】中设置填充色，如下图所示。

第12步：单独选中不同的圆环添加数据标签。注意，这里只能一个标签一个标签地添加，如果选中整个圆环，就会连同辅助数据的标签也一起添加。

第13步：设置标签格式。选中每一个标签，设置标签格式，让标签中显示【系列名称】和【百分比】数据，同时显示引导线。

第14步：设置一下标签的文字格式，再设置一下图表标题，就完成了图表制作，如下图所示。

给大家推荐的一些用于数据分析的“必备神器”

数据可视化工具：

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

词频分析工具：

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

舆情分析工具：

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

PPT模板工具：

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

互联网趋势分析工具：

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

在线调查工具：

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

网站分析监测工具：

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

社交媒体监测工具：

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

其他数据网站：

数据分析网：http://afenxi

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

根据Wikibon的结论，全球大数据市场软件与服务收入预计将由2018年的420亿美元增长至2027年的1030亿美元，年均复合增长率（简称CAGR）高达10.48%。

Forrester公司预计，全球大数据软件市场将在今年年内迎来310亿美元总值，较上一年增长14%。预计全球软件市场总营收将达到6280亿美元，其中应用程序将达到3020亿美元。

根据埃森哲的一项研究，79%的企业高管认为拒绝大数据发展趋势的企业将失去其竞争地位，甚至面临着灭顶之灾。更有83%的企业正积极利用大数据项目夺取竞争优势。

根据普华永道公司的调查结论，59%的企业高管表示，人工智能技术的引入能够改善公司的大数据处理能力。

销售与营销、研发、供应链管理（简称SCM，包括分销）以及工作场所管理与运营（包括大数据）正成为目前企业营收增长的最大贡献因素。麦肯锡分析公司于2018年1月发布的研究报告《Analytics Comes of Age》对如何利用分析技术与大数据实现全新生态系统作出了全面概述，并将其视为实现人工智能（简称AI）的一项前提条件。麦肯锡方面发现，分析与大数据在基础材料与高科技行业当中作出的贡献最为可观。以下第一份图表即来自麦肯锡分析公司的研究，其中突出了分析与大数据技术如何彻底改变销售与营销领域中的多种基本业务流程。

在麦肯锡分析公司开展的调查当中，近50%受访者表示分析与大数据技术从根本上改变了其销售与营销类职能的业务行为。此外，超过30%的受访者表示各行业研发工作同样受到重大影响。其中高科技、基础材料与能源领域的受访者们表示，分析与大数据技术改变了其相当一部分固有职能。资料来源：2018年1月发布的《Analytics Comes of Age》。

全球大数据市场软件与服务收入预计将由2018年的420亿美元增长至2027年的1030亿美元，年均复合增长率（简称CAGR）为10.48%。与此同时，Wikibon方面还估计称，全球大数据市场在2017年到2027年之间将以11.4%的年均复合增长率持续扩张，总体规模则由350亿美元增长至1030亿美元。资料来源: Wikibon 与 Statista相关报告。

根据NewVantage Venture Partners的统计，大数据将通过减少开支（49.2%）与创造新的创新途径（44.3%）为企业带来最大价值。通过将高级分析与大数据相结合以发现降低成本及提供可量化结果的新机遇，目前各个行业都在积极探索将这两股力量引入自身的具体方式。69.4%的受访者已经开始利用大数据建立数据驱动文化，而有27.9%已经获得初步成果。资料来源: NewVantage Venture Partners, Big Data Executive Survey 2017。

Hadoop与大数据市场总值预计将由2017年的171亿美元增长至2022年 993.1亿美元，年均复合增长率高达28.5%。预计增长速度最快的阶段为2021年与2022年，届时市场的年价值总量将首次突破300亿美元。资料来源: StrategyMRC与Statista相关报告。

大数据应用程序与分析将由2018年的53亿美元增长至2026年的194亿美元，年均复合增长率为15.49%。全球大数据市场（包括专业服务在内）将由2018年的165亿美元增长至2026年的213亿美元。资料来源: Wikibon与 Statista相关报告。

对高级分析与大数据相关硬件、服务与软件的全球需求进行比较，其中软件部分拥有明显优势。软件部分预计将成为增长速度最快的门类，将由2018年的140亿美元增长至2027年的460亿美元，年均复合增长率为12.6%。资料来源: Wikibon; SiliconANGLE; Statista估计以及 Statista相关报告。

中国的高级分析与大数据收入预计将在2020年达到578亿人民币（折合约90亿美元）。中国市场预计将成为全球范围内发展速度最快的区域之一，其年均复合增长率可能达到31.72%。资料来源: 社会科学学术出版社（中国）与Statista。

非关系型分析数据存储预计将成为大数据领域中增长速度最快的技术类别，其2015年至2020年期间的年均复合增长率将达到38.6%。认知软件平台（年均复合增长率为23.3%）以及内容分析（17.3%）则与非关系数据库共同成为2015年至2020年期间三大增长速度最快的技术类型。资料来源: Statista。

利用大数据创建高效能分组集群的分散式一般零售商的销售额将增长3%至4%。大数据已经成为零售行业实现转型的催化剂，其能够为本地化带来远超以往的准确度水平。目前，大数据技术被广泛用于增加终端促销活动的投资回报率、优化货架设计、改善追加销售以及交叉销售业绩，同时优化高销量商品的价格设定。资料来源: 2018年2月8日，波士顿咨询集团，《Use Big Data to Give Local Shoppers What They Want》。

84%的企业推出了自己的高级分析与大数据项目，旨在提高准确度并加速自身决策流程。 NewVantage Venture Partners近期发布的调查结果显示，专注地这一方向的大数据项目拥有最高的成功率表现（69%）。超过三分之一的企业（36%）认为这一领域正是高级分析与大数据投资的首要方向。资料来源: NewVantage Venture Partners调查与 Statista。

使用DataFocus中文自然语言数据分析系统时，可以经由用户的查询问题自动生成适合数据结构的可视化图表类型，但用户也可以将图表转化成自己需要的类型，我们整理了常用的一些数据图表对应的数据场景，帮助您在探索数据和展示数据时更加的直观丰满。

图表用来显示比较结果的方式大致为高度、大小、角度等。

1 柱状图

适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较高度的y轴。利用图形高度反应数据的差异，效果直观。

优势：高度差异效果较为直观。

2 折线图

同样适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴（多用在属性列为日期时展示趋势变化），数据列作为显示比较高度的y轴。一般用来表示趋势的变化，属性列类别较多时尤其适用。

优势：可以清晰地反映和表达数据的变化趋势。

3 饼图

适用于一个属性列和一个（或数个，有多个数据列时生成多环饼图）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较占比的y轴。饼图多用来展示不同类别的占比情况和比例，显示各项的大小与占总体的比例。

优势：明确直观地显示比例情况，多适用于用户群体倾向和渠道来源等场景。

4 散点图

适用于一个属性列和一个（或数个，数个时通过图例选中不同的显示效果）数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较高度的y轴。多用来观察各个数据点之间的关系以及分析变量之间的联系，还可以直观的看出数据的分布情况以及特殊的离群值。

优势：对于处理数据分布和分簇来说结果较为理想。

5 漏斗图

适用于一个属性列和一个数据列的二维数据结构，属性列作为进行类别比较的x轴，数据列作为显示比较程度的y轴。漏斗图适用于一个连续的流程的完成情况分析，显示各个阶段的转化率，尤其是在网站分析的用户转化的场景下很理想，能够完整的展示用户从进入到实现购买的最终转化之间的每个流程，直观的显示出问题所在。多个

优势：在转化关系中可以直观地显示出整体流程的转化率情况。

6 气泡图

适用于一个属性列和两个数据列的三维数据结构，属性列作为进行类别比较的x轴，一个数据列作为显示比较高度的y轴，一个数据列作为气泡的大小的显示。气泡图与散点图类似，不同之处在于在图表中额外加入一个表示气泡大小的变量进行两组数据的对比，多适用于反映销售场景需要同时比较两个数值的情况。

优势：比较角度多维，效果直观美观。