什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

之前写过几篇大数据的文章《遇见大数据可视化 ：基础研究》，《遇见大数据可视化 ： 来做一个数据可视化报表》，《遇见大数据可视化 ： 图表的视觉系统感知》。得到了身边不少小伙伴的认可，都觉得数据可视化是一件挺有意思的事情，纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了，很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘（学习Python，JavaScript，R语言等等），再到可视化图表的设计（学习Processing，D3.js，PhotoShop，Illustrator等等），还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化，但陡峭的学习成本，让很多小伙伴望而却步，看到各种复杂的教程，简直是从入门到放弃。

那么有没有什么好的办法，可以不用学习这么多的知识点，而能做一些不太复杂的数据可视化图表出来呢？答案肯定是有的，那下面就手把手的带领大家，零代码来做数据可视化图表。

【生产力有两项，一项是人，一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来，很简单，只要选好工具来就可以了。网上有很多介绍各种工具的文章，这里就不一一的去粗浅的介绍各种工具，而是深入的用案列的方式带大家了解我觉得还不错的可视化工具（数据挖掘和可视化图表），目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式，那首先需要确定我们做什么主题。作为一个四川人，每次做自我介绍的时候，都会说到四川的美食，川菜作为中国八大菜系之一，还是深受广大人民的喜爱的。那么我们就用数据，来看看川菜和中国其他菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）到底有什么不同，来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了，下一步就是数据的挖掘。 一般来说，基础数据的来源分为这几类。

自家数据– 自家应用APP收集的数据。不对外输出，最好的数据来源，纯洁数据拿来就可以用。行业报告– 上市公司的年报、半年报、工商系统、股转系统。定期对外输出，有干扰项。政府官方数据– 国家统计局，中国环境监测总站，世界银行等。定期对外输出，或有接口API，干扰项较少。全网公开数据– 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据，干扰项较多，一般都需要做二次数据清理。

那这次我们要做菜谱的分析，自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番，就发现了很多的菜谱网站，比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等，这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据，因为【美食天下】刚好有按照菜系进行分类，这样我们在做二次数据清理的时候，就可以减少一个步骤了。

上图就是我们需要爬取的一条内容。有了爬取网站，确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢？代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io对于简单的数据爬取足够用的工具，简单的了解，10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步：输入需要爬取的网站地址，然后点击【开始爬取】。

第二步：设置爬取规则。点击【开始爬取】后，会进入这个界面，在这个页面进行爬取规则的制定（就是选择出我们需要获取的内容），只需点击我们想要的内容即可，下图绿色区域就是我们需要的内容，然后点击【完成创建】。

第三步：执行下载数据。这步就可以下载数据了，只需三步造数就能得到想要的数据，而不需要各种配置。

下图就是下载下来的原始数据，大致是这样的，全部汇总在一个Excel表中。在这里有菜谱名称，网站地址，和所需原料。当然不是所有内容都是我们需要用的，这时候就需要对原始数据进行清理，删除，汇总等处理。

因为数据量不大，对于原始数据的处理，我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的，所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的，那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中，如下图所示。

文本分列后，把它聚合到一起，然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序，我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程，及数据挖掘和清理汇总。在这里我们用到了两个工具，一个是【造数】用做数据的爬取，一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的，比如国内的Gooseeker（集收客），八爪鱼。国外的Kimono，import.io。但是我们的目标是能快速的上手做一些简单数据挖掘，所以这里给大家推荐的是造数，它规则提取足够简单，能通过可视化的简洁的方式来设置提取规则，同时爬取路线很清晰，很容易就能理解它是怎么运行的，从而快速上手。而【Excel表格】也是我们办公常用的软件，对于数级不大数据源，我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后，我们就可以开始进入可视化图表制作这一步了。关于图表的制作，其实用Excel就能完成的。不过Excel图表的默认样式，和图表的对应数据的关系都做的十分不友好的，你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的，而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp/home.html 。BDP把数据拆分出来，把图表的维度和数值列出来，通过拖拽的方式进行数据分析，完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了，感兴趣的去试试，很快就能上手开始做图表的了。下面我们就来看下，用BDP做出的图表，来看看中国八大菜系（鲁菜、川菜、粤菜、苏菜，浙菜、闽菜、湘菜、徽菜）有什么不同。

我们在【美食天下】的网站中，一共爬取了1062篇菜谱，其中川菜就有350篇，就占了总量的三分之一的量，全国人民还是都比较喜欢吃川菜的，真可为八大菜系之首的。而紧跟其后的就是粤菜，也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是：盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是：盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西，川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人，还是不能理解为什么需要放耗油来做菜，耗油不只是用在吃火锅的时候做蘸碟吗？还有居然没有豆瓣酱，豆瓣酱才是做菜的王道呀，炒菜放点豆瓣酱味道一下就来了。

再看下，把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的，60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖（PS：据大厨了解，加白糖多是为了上色，而非让味道变甜），而豆瓣酱在Top15中已经没见了，果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去，只看下主材的情况。在主材中鸡蛋出现了121次，也就是说10%菜品用到了鸡蛋，上榜率相当高的。紧接着就是猪肉，这个也是意料之中的。如果把排骨等也归为猪肉的话，猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜，而土豆这种我觉得应该用的很多的主材，却这么少。

OK，这边我们就只做简单的分析即可，如果有同学有兴趣，可以在分析下去，我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用， 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难，只要我们开始动手去做，人人都可数据可视化图表来，这就是工具的价值。

所以我们设计中心也在思考，有没有可能在图表之上，提供更好的数据可视化工具，而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具，我们在这个方向前进，推出一款更好的大数据可视化工具。

作为企业Boss们，每天、每周、每月......不断的查看报表已经习以为常，没错，管理的秘诀是让数据说话（合作请加Acewill1），但看到这样的报表，企业Boss们简直无言以对，直呼：心好累！！！

比如这张报表↓

还有这张报表↓

报表一堆数字，

看不出营业趋势

！

各个部门的不同报表，

数据都无法汇总、统一分析

开发一张定制报表

周期长、造价高，无法复用，且数据延迟

人工录入，

数据准确性无法保证

不能实现

移动端查看报表

大数据时代竞争的关键是什么？

快！精！准！

所以，企业Boss们的内心OS，你真的能读懂多少？

前方高能

奥琦玮大数据分析平台上线啦！

让数据说话

，奥琦玮大数据分析平台更懂企业大佬！

奥琦玮大数据分析平台，围绕以消费者的消费偏好、原材料的损耗规律、资金流转的过程、人力的排版体系四类数据，致力于帮助餐饮连锁企业解决数据分析的难题。

产品优势

1F

报表定制开发费用0元

定制开发0费用，用报表更

省心、更无忧

，免去费用顾虑。

2F

实时数据呈现

数据可视化，样式灵活，拖拽鼠标即可生成自定义报表。

0.5小时内

完成

以往2、3天

的定制开发报表，且匹配好数据后就自动实时展现。

3F

异常数据报警

定义数据指标，

系统进行监控

，达到阈值自动发送报警。

4

跨系统数据汇总

跨系统

连接企业内部所有数据

，并结合相关业务线将其整理成

清晰移动的图表

呈现移动端查看报表，帮助管理层监控总部和门店运营的整体情况，各部门各项指标及目标达成率。

5

移动端

不受时空、地域限制

，随时随地查看报表，方便快捷！

报表呈现展示

数据展示，灵活多样↓

科学算法，数据趋势更清晰↓

可以

全局筛选↓

多表联动

↓

多层钻取↓

对比分析↓

还有

酷炫的动态轨迹

展示↓

移动端报表

不仅以此，除

数据可视化功能

外，奥琦玮大数据分析平台还提供专注

餐饮的数据分析、数据挖掘及预测

：

消费者的消费偏好：

分析谁，在哪儿，什么时间，吃了什么，多少钱。

原材料的损耗：

用什么样的原材料在不改变客户口味的情况下做菜品创新。

人力排班数据：

分析用工合理性或者人员配比合理性。

资金流转的过程：

合理预估资金使用账期关系。

用营业额数据趋势设计开台摆台，用菜品点击设计菜单，用营销活动分析选择合作平台

等等。

奥琦玮大数据分析平台在手，相当于拥有了一支私人定制报表团队：

一位

数据科学家

、一位

数据处理工程师

、一名

专业餐饮行业顾问

和一位

数据挖掘大拿

！！！！

奥琦玮大数据分析平台，

360度全方位

为餐饮连锁企业解决数据分析难题！

前些日子，全球数据仓库技术专家Stephen Brobst在2018 Teradata全球用户大会上发表了名为《数据分析的未来》的演讲，他表示，未来“大数据”这个词或许会消失，取代它的是“全量数据”时代。

时代在转变，但有人依旧没迈开步伐

“在硅谷，要么你已经是一家数据公司，或者将来会成为一家数据公司，或者已经被彻底淘汰。因为大数据正在变革各个行业认识自己的方式。”

数据会直观地反映事实，企业或机构利用数据可以挖掘出自身还有关于市场的很多讯息，有了讯息才会有全面的了解和把握，才能做出更好的决策，而不是盲人摸象。

由此可见，数据是何等重要。挖掘数据的目的不在于数据本身，而是数据经过分析处理之后可以给企业和社会机构带来的价值。

简单举例而言，我们通过消费者的购买数据分析出购买习惯和偏好，从而指导我们如何改进产品和营销方式等，这就是一种挖掘数据产生价值的方式。

尽管这已经是从“大数据”走向“全量数据”的时代，但国内绝大多数企业仍旧处于数据裸奔的状态中，有的企业只是单纯统计、采集数据，将其视为一种指标，有的企业更是还不做数据收集。

这些企业普遍都认为，投资数据化管理、购置数据处理工具是很浪费的事情。

数据分析并不复杂，也不难执行

但事实上，数据处理工具其实很便宜，甚至只要你肯花心思，甚至可以做到免费，比如说现在很多企业都在使用的云表企业应用平台。

名字听起来很高大上，功能也确实如名字一般足够强大，但它在设计上兼顾了平民化、低门槛，每个企业都能用得起（甚至有免费版），重点还在于它的使用方式，会用Excel、会画表格就可以用它来实现各种场景下的数据管理需要。

数据就是资源，不做数据采集分析就是在浪费价值

拿云表举例而言，云表可以根据每个企业需要，搭建各种企业管理系统，不用编程，就能自主搭建各种类型的企业数据管理系统。

小到进销存，大到ERP、WMS等大型管理系统，传统软件工具都有的它都具备，工作流程流转、多用户协同办公、用户权限控制、BOM设计……

可以与第三方软件对接实现数据交互，也可以对接微信公众号和网站，更可以自动生成APP实现移动办公。

云表更具有强大的数据透视功能，可以根据需要对数据进行万能透视，也可以设计各种数据分析报表，销售统计分析报表、利润分析报表……等，你需要的报表，都可以随时生成。

而以上所列举的这些，如果不利用工具做数据采集分析，都不可能做到，也就等于是在浪费这些企业本应获得的价值。

工具是手段，解题才是目的

必须重申，工具终究只是工具，它是执行管理者管理思维的手段，所以作为管理者必须知道自己在做什么，而不是盲目地购买、布置。

对于这一点，云表公司常年开班免费教你怎么用，避免了添置工具却不会用、用不好反而效率下降的尴尬。

Stephen也指出，如何吸取和提炼系统的数据也很重要，如果没有总结能力和提取能力的话，换个新问题你还是不会做。

经过系统的学习，确实地掌握了工具的功能和逻辑之后，自然也能加深对数据的理解，让数据成为企业面对运营难题的解题依据。

————————————

数据对企业的好处不言而喻，一款好的数据分析工具对企业的作用不可估量。但却不要把企业数据分析想象的多么高大上，好用接地气的软件工具才是当前中国企业的最佳选择。

未来将属于能将数据转化为产能的企业，培养数据化管理意识，学会利用工具挖掘价值，才能在这个时代保持领先，你不这么认为吗？

2016 年，滴滴平台用户累计已达到 4 亿，覆盖城市超过 400 座。作为中国出行领域的独角兽公司，滴滴手上所掌握的出行大数据不可小觑。1 月 12 日，财新传媒和滴滴出行主办了“知道·2017 大数据智慧城市论坛”，滴滴出行联合第一财经商业数据中心发布了《2016 智能出行大数据报告》（以下简称《报告》）。不要小看这份出行大数据，它所涵盖的内容远远超过了出行本身：哪个城市最堵？哪家公司加班最晚？哪些景点挤？出行大数据统统都能告诉你答案——杭州智能渗透率居榜首，贵阳发展前景可期从智能渗透率来看，一二线城市依然整体优势明显，杭州继续位居榜首。珠三角地区总体渗透率较高，在用户渗透率排名前 10 的城市中占据 4 席，分别是深圳、广州和东莞、珠海。

在各级城市月人均出行次数上，三四线城市与一二线城市相比仍有较大差距。月人均出行次数排名前五的城市依次是天津、青岛、北京、杭州、宁波。根据智能渗透率，出行活跃度和便捷程度等综合指标测算的智能出行发展指数，杭州、北京、广州、深圳、成都排名前五，一线城市和省会城市明显更高。排名前 20 的城市中有 8 个为珠三角和长三角城市。而潜力城市（二、三、四线城市）多为长三角、珠三角和京津冀地区的二线和三线城市，其中西部城市贵阳排名第 7，前景可期。三四线城市拥堵加剧，北京人均每年“堵”掉近 9000 元堵车永远是人们最关心的交通话题。2016 年，一线城市平均车速略有上升，而三四线城市平均车速下降明显，从 2015 年的 26.2 千米每时降至 2016 年的 25.3 千米每时。2016 年平均车速增幅较大的前三个城市为大连、常州和青岛，而下降幅度最大的城市为丽江、嘉兴、三亚。

根据高峰期拥堵延时指数，西安成为 2016 年堵城冠军。2015 年的拥堵冠军重庆今年位列第 2 位，而去年的亚军青岛 2016 年治堵效果显著，今年仅排名第 9。受极寒天气、冰雪路面、市政建设等影响，哈尔滨也上榜十大堵城，位列第 8。“堵声在外”的北京虽然位列第 4，但因为社会平均工资较高，成为因拥堵造成损失最高的城市——北京人每年因堵车损失 8717 元。而在全国最堵的西安，人均拥堵成本为 6960 元，排名全国第 3。互联网行业工作时间长，京东下班最晚除了与交通出行直接相关的方面，从出行大数据里还能看到很多很有意思的现象。比如在加班重灾区的互联网公司中，哪家公司是加班之王？答案是——京东。京东超越去年的冠军奇虎 360 成为今年平均下班时间最晚的公司，紧随其后的是 360 和阿里巴巴。在榜单前 10 名中，新浪、网易等老牌门户网站也上了榜，而今年的“网红公司”乐视位居第 10，我猜加班的都是公关部的……

不仅加班多，互联网人群平均工作时间也偏长。相较于金融、传媒以及房地产等行业，互联网人群平均工作时间更长，每天超 10 小时，尤其是深圳码农，工作几乎占据了其一半的时间。而且码农们生活节奏更为固定，公司与家两点一线偏多。心疼深圳码农一秒钟……媒体人异地奔波苦，金融从业者“朝七晚五”再说说我最关注的传媒行业。传媒人工作随机性较大，处于随时待命状态，出行峰值曲线较为平缓；同时他们的出差次数最为频繁，往返机场火车站及酒店的出行量接近总出行量的 1/5。金融从业者上班早下班也早，“朝七晚五”是他们的工作特点，同时他们还应酬多，夜生活丰富，下班后 20% 的人不是直接回家，而是去往各种餐饮娱乐场所，夜晚餐饮订单也超出平均水平 40%。同时他们还偏爱高档购物中心，北京的三里屯太古里、上海的国金中心、正大广场都是“金领一族”经常光顾的地方。

对于教师群体来说，二线城市的中小学老师更为辛苦，晚 21：00 后打车出行占比最高的城市为重庆、西安和成都，备课评职称的压力大概大于一线城市。在高校中，山东大学的老师最辛苦，工作日打车回家平均时间最晚。插一句，这份报告简直就是征婚指南啊！喜欢老实的？码农是首选；喜欢摩登的？金融从业者是首选；希望爱人能常伴左右的？那传媒行业的就可以 pass 了……购房热、健身热，出行数据亮点多2016 年春节后全国掀起购房热潮，打车去往房地产交易中心的出行量一年间增长了 2.8 倍。而在房产调控政策下也出现了离婚买房怪象，3 月 25 日，上海颁布最严房产调控政策“沪九条”，当天打车去往民政局的出行量同比增长 120%。房价能和离婚能挂钩，这也就是我天朝的“特殊国情”了吧……

除了购房热潮，2016 年还是奥运年。在里约奥运会期间，体育赛事带动全民健身热，其中较为显著的是去往游泳馆的出行量增长了 32.2%，想必是“洪荒少女”俘获了一批人的心。而在世预赛期间，国足虽然不争气，但球迷痴心不改，“里皮效应”明显，去年 11 月 15 日昆明一战中，有 30% 的球迷从外地远道而来。出行数据看城市性格：绵阳最温情大连最小资一个城市的风气也能从《报告》中看出端倪。根据滴滴顺风车免单占比，2016 年最温情城市（免单比最高）是四川省绵阳市，其他排名前十的城市也多为三四线城市。耳边响起了邓丽君的《小城故事》——小城故事多，充满喜和乐。

从目的地为健身场馆的数据来看，山西太原城市最爱健身的城市，其次为福州、佛山，一线城市中只有广州上榜；十大最爱读书城市长沙位列榜首，其次为青岛，温州；去往休闲娱乐场所占比最高的城市为南宁、太原、大连等；最“小资”的城市为大连、绍兴和上海，那里的人去往咖啡厅、酒吧、电影院占比最高；最后，天津位列十大海鲜之城冠军，重庆居于十大火锅之城榜首。是不是没想到打车数据居然能牵扯到这么多社会的方方面面犄角旮旯？怎么样，你所在的城市上榜了吗？

首先问大家一个问题，什么是企业最重要的资产?我想大部分人可能会说是企业的固定资产或劳动力或人员流动之类等等。但是，超过上述所有情况，任何企业或组织最重要的资产都是它的信息，每个企业的未来取决于他们现有的数据和管理的好坏，由此可见数据的重要性，本文就重点讲述数据对于各行各业大小企业的应用。

我们生活在一个数字化的世界里，一切都可以在互联网上找到，根据商业(特别是电子商务和社交媒体)的变化趋势。互联网的使用已经成为每个人日常生活的必需品。现在所有的交易都通过互联网进行。公司最大的挑战是记录客户的每笔交易。难点在于，企业必须记录每天生成的大量数据，而如何合理管理数据是企业最头疼的。而且数据包括各种类型，如非结构化、半结构化和结构化数据更是让各行业数据维护举步维艰。

大数据是什么?

每个企业每天都会生成数据，数据量根据企业业务的复杂度而变化。如果业务量大，我们可以很容易地使用常用的软件工具来管理，但是如果业务体系庞大，那么就将这些数据合理归档整合。这就是我们称之为“大数据”的原因。大数据能让用户处理大量的原始数据，并根据业务需要进行合理分析报表，以备将来参考和预测。大数据有助于管理数据，并为将来的有用目的存储全部数据。数据首先在不同类型中生成，包括非结构化数据、半结构化数据和结构化数据。大数据获取任何原始数据并将其处理成结构化数据。公司利用他们的过去和现在的数据来预测未来。大数据帮助企业获得利润，并在全球范围内扩大业务活动，并提供大数据。它不仅预测了未来的收益，还有助于预测未来的问题和趋势。它有助于企业做出重大决定。

政府行业

政府通常将历来数据进行汇总和分析规划未来发展趋势以及做好预防工作。大数据帮助政府机构为他国家制定计划。如政府利用人口普查来扩大或向全国的每个人提供福利，利用食品溯源管理追踪食品安全等等。

教育产业

教育部门需要不断的改进，为学生提供良好的教育。大数据帮助教育机构利用这些数据来跟踪学生表现的变化，他们使用数据来实现变化。它还有助于设计教育形式，帮助学生更好地让世界变得更好。

医疗保健行业

卫生部门使用其病人记录、治疗计划和过去用于治疗不同疾病的药物，这将有助于该部门改善治疗或向患者提供更好的医疗援助。它还可以提高行政管理、成本管理、人力资源/人员管理和供应管理的效率。

制造业

制造部门必须采购原材料，并维持必要的人员生产高质量的产品和服务。制造业的常规和持续的任务产生大量的数据。大数据可以帮助制造商减少成本和浪费，并帮助他们在更短的时间内制造出高质量的产品。大数据让制造商能够预测未来的需求，基于此，他们能够及时生产和供货，最终带来更高的利润。

零售行业

零售业是与顾客有最终联系的行业。它必须记录客户的数据——包括顾客的品味、偏好和生物数据——以便与他们保持紧密联系。客户关系是在业务开发中发挥关键作用的重要途径之一。大数据提供了解决复杂问题的准确信息，这些问题与零售业有关。我们可以清楚地知道该做什么，什么时候使用大数据。

结论

我们生活在信息时代。信息是任何进一步行动的一个关键方面。定期记录大量的数据需要一个更好更有效的软件工具。大数据是存储高数据量的最终来源，并以一种可以理解的方式处理它，我们可以预测行业未来的动态发展。

更多精彩内容，关注小伍

使用DataFocus中文自然语言数据分析系统时，可以经由用户的查询问题自动生成适合数据结构的可视化图表类型，但用户也可以将图表转化成自己需要的类型，我们整理了常用的一些数据图表对应的数据场景，帮助您在探索数据和展示数据时更加的直观丰满。

图表用来显示比较结果的方式大致为高度、大小、角度等。

1 经纬图

适用于有经纬度的数据集。DataFocus内置与百度地图的接口，只要建一张精准的定位信息数据集，上传之后会自动解析，准确定位到地址。百度地图是经纬度分布图，具体到乡镇街道分布都能看得清清楚楚，这是很多人都需要的地图类型，DataFocus地图功能就支持百度地图，可以将数据导入到地图里，得到自己最终需要的可视化报表。

优势：用地图来分析和展示与位置相关的数据，让人一目了然。

2 组合图

适用于一个属性列和两个数据列的三维数据结构。组合图，顾名思义，就是由两种（柱状图和折线图）的二维图表组合而成的图表形式，常用于展现同一变量的绝对值和相对值，而不适合制作其他图表类型的组合。

优势：特别通用，属于不同图表的组合使用，图表看起来简单直观。

3 仪表图

适用于一个属性列和一个数据列的二维数据结构。仪表图是为了关注单独一个指标的表现时使用，能给出指标的安全范围和警戒范围。例如将销售额分为三个区域，并分别以黄色、蓝色和红色来区分三个区域，其中黄色表示警戒区域。从下图可以看出东北、中南和西北地区的销售额在警戒区域内，需要引起重视。

优势：能给出指标的安全范围和警戒范围。

4 雷达图

适用于一个属性列和多个数据列的多维数据结构（四维及以上），但是每个维度必须可以排序，数据点一般6个左右，不能超过50个，太多的话辨别起来有困难。

优势：主要用来了解公司各项数据指标的变动情形及其好坏趋势。

5 树形图

适用于一个（或多个）属性列和一个数据列的数据结构。树形图，是用于展现有群组、层次关系的比例数据的一种分析工作，它通过矩形的面积、排列和颜色来显示复杂的数据关系，并具有群组、层级关系展现功能，能够直观体现同级之间的比较。

优势：适合用来展示构成项目较多的结构关系，如果它们还可以继续归纳分类的话，还可以展现分类之间的比例大小及层级关系。

6 词云图

适用于一个属性列和一个数据列的二维数据结构，属性列包含的属性值要尽可能多。

优势：显示词频，可以用来做一些用户画像、用户标签的工作。

Tips：“小鸟云”是深圳前海小鸟云计算有限公司旗下云计算品牌，国内领先的企业级云计算服务商。团队拥有多年行业经验，专注云计算技术研发，面向广大开发者、政企用户、金融机构等，提供基于智能云服务器的全方位云计算解决方案，为用户提供可信赖的企业级公有云服务。

大数据 ≠BI商业智能，大数据也不是传统商业智能的简单升级。

1、大数据和BI两者的区别

BI(BusinessIntelligence)即商业智能，它是企业数据化管理的一整套的方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策，解决的是管理运营战略的问题。

大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据侧重于解决某一类问题的方法，比如全网用户画像，对网络、传感器等非结构化海量数据的分析。

不管定义如何不同，大数据与传统BI是社会发展到不同阶段的产物，大数据对于传统BI，既有继承，也有发展，从"道"的角度讲，BI与大数据区别在于前者更倾向于决策，对事实描述更多是基于群体共性，帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，大数据则内涵更广，倾向于刻画个体，更多的在于个性化的决策。

当然纯粹从思想的角度讲，两者在概念上是可以实现统一的，都遵循数据-信息-知识-智慧这个脉络，甚至在更高的层次，两者也是可以统一的。

2、两者技术上有什么相关性？

传统BI的技术标签：ETL、数据仓库、OLAP、可视化报表。

大数据的技术标签：Hadoop、MPP、HDFS、MapReduce、流处理等。

传统BI就目前来讲，其功能都可以被对应的大数据组件所替代，但大多数企业缺乏大数据业务的驱动，也缺乏相关的高技术人才。

不过新型BI被赋予了更多“大数据”潜能。正如图右侧架构所示，BI架设在大数据应用层，抽取etl后或者Hive来的数据又可作通用类的业务分析。既满足了海量实时数据分析，也满足了决策型的业务分析。

3、企业应该青睐大数据还是商业智能？

在技术领域，虽然传统BI的一些技术ETL、数据仓库、OLAP、可视化报表似乎都将处于落后边缘，因为它难以解决日后海量数据的处理问题，但是，也不能全盘否定或替代成大数据。一些企业采用SAP HANA，FineBI的直连大数据引擎都是基于这个问题优化的方案。BI的那套也将长期存在，毕竟企业对BI方案还是很青睐，大数据的普及和应用也是个漫长的过程。

大数据 VS 商业智能

大数据不是空口说说，它的第一要务就是解决业务问题，大数据一定程度上就是用全新的数据技术手段来拓展和优化业务，传统企业需要聚集一拨人来研究这个问题，需要有人专门研究和探索。如果对外，想清楚新的商业模式，如果对内，想清楚在哪个场景，可以用大数据的手段提升效率。

当前大数据可以产生价值的地方，从行业的角度看，金融、银行、互联网、医疗、科研都有广阔的前景。从领域的角度看，广告、营销、风控、供应链都是大数据发挥价值的地方，对于特定企业，比如电信运营商，大数据也可以在网络优化等方面提供新方法。

并不是每个企业都需要打造自己的大数据平台，需要考虑到企业的信息化水平和各项成本，量力而行吧，可以自行研发 ，比如BAT;也可以选型采购，比如传统大企业；中小型企业也可以租用，比如用阿里云和AWS。

就事实来讲，BI的应用是远远大于大数据应用的，有其通用的道理。大数据相对于传统BI，也不仅仅是简单的PLUS的关系，它涉及了思想、工具和人员深层次的变革，BI人员既不要一提大数据，就嗤之以鼻，认为它是新包装的马甲，其实就那么回事;也不需妄自菲薄，以为搞大数据就那么高大上，它的确是BI大多数思想的传承。

作者：冯大福

来源：说说数据分析那些事儿

大数据，这个被炒烂了的概念，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调它的技术，例如网络热词：hadoop+spark，data mining。而我们在用大数据时候，经常神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。

当然这些是我们的畅想，同时确实也离不开数据分析影响，但是我们有没有停下脚步去想一想，到底大数据怎么去落地呢，怎么去分析？怎么利用数据来去使企业做出决策，例如：广告投放精准化？

1

我们了解什么叫大数据分析吗？

麦肯锡给大数据定义：

“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”

基于我对以上定义的理解，我总结的大数据分析就是，将获取的数据打通、整合、找寻规律，立即得出决策信息。

数据获取

我总结的数据源可分类三类：

（1）一方数据：用户事实数据

例如用户在某金融机构购买的理财产品，时间、哪个出单口、姓名、电话等，或者运营数据，例如某互联金融app，用户操作行为数据。

（2）二方数据：其实这部分叫做广告投放数据

例如，广告展示量，活动页点击量，广告来源等。也有公司将这部分数据作为第三方数据，因为有些广告监测公司会利用此数据和人群数据整合构建自己dmp这样的公司一般宣称为第三方公司，三方数据。

（3）三方数据：行业数据，也叫公开数据

例如行协的数据，或者互联网行为数据，例如某互联网公司用户在此网站的行为数据，或者嵌入sdk的app后我们能采集到的安装活跃列表，以及可采集到线下数据。

打通：其实就是利用关键点的采集整合一二三方数据。例如我们可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将二方、三方数据整合。但是由于现在监管制度对手机号敏感数据的控制，以及互联网和移动端数据的跨平台打通技术难点，我们现实的匹配率很低，例如一方和三方的数据匹配达到20%其实就算比较不错的情况，当然运营商数据除外。

找寻规律：目标就是数据清理，从非结构化数据变成结构化数据，以便统计，数据探索，找寻规律，形成数据分析报告观点。本文将会在第三部分阐述。

立即决策：将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。

为什么需要大数据分析？看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，似乎就是我们需要大数据分析的理由。

现在，大数据的分析通常采用的数据报表来反映企业运营状况，同时，对于热点，人群分析，我们看到的统计值，目标核心都是用数据分析报告提炼的观点来指导运营，那么问题来了，怎么用数据分析来指导数据决策呢？

2

数据分析的报告思路

（从移动端的角度进行切入）

基于我对数据分析的理解，我将数据报告会分成三大类：市场分析、运营分析、用户行为分析。

市场分析

由于市场分析一般而言是定性、定量分析，最近热播剧《我的前半生》贺函和唐晶的职业就是来去咨询公司的一般会以访谈、问卷调查来一份市场分析报告去告诉客户他们的市场占有量，消费者观点等。

这里，我们以移动互联网数据的市场分析为例，通常来说，数据源是公开数据，或者在第三方数据。正如我们所讲，将sdk嵌入开发者应用，就可以收集到安装以及使用列表，那么开发者使用的sdk越多，我们能收集的数据源也越多，这样就可以形成安装app排名，使用app排名，这里面所说的覆盖率、活跃率也是这个意思，例如：即此款应用安装量、使用量在整体金融类的安装量、使用量占比。

那么，这些市场分析的作用呢，一般而言，是对公司市场营销的总结，比如某金融公司kpi是为了获客，他们做了一系列营销，下个月排名我们可以查询到此款应用的安装量，是否较上个月上升呢？ 那么我们的竞品表现呢，他们是不是也做了一些列的营销活动排名上升下降？我们都可以通过市场分析、竞品分析来观测，但是这部分的观点由于是市场数据，我们只能通过大量的搜寻官网活动，或者互联网广告推测营销来推测是否竞争对手排名上升和这些营销活动有关。

同时，根据市场的走势图，我们能发现潜在的竞争对手，例如：我们能看出下图中的工商银行由于手机属于高覆盖高活跃组，即安装xxapp活跃人群也是最高的，因此，无疑xx银行是所有银行组潜在竞争对手。需要更加注意他们的市场策略。

运营分析

移动互联网提出的方法论：3A3R，笔者之前在做咨询的时候，此方法论也可以将网站分析套用，总结来说3A3R就是：

感知 → 获取 → 活跃 → 获取 → 营收 → 传播 → 感知

这里需要注明下，运营分析只是一个公司的baseline，让产品经理、运营人员、市场人员根据自己本公司的数据参考做出合理的决定，同时，运营的数据只是参考或者叫警示，若要具体，需要特定细节的分析，例如是否app改版，怎么改？需要增加哪家渠道合作？

（1）Awareness 感知

根据广告投放数据进行分析，目的判断渠道广告页对app 或者网站引流情况，同时可以帮助广告主设计监测表格，以数字角度衡量广告投放效果。

但是，广告数据一般而言在广告监测公司手中，或者公开的使用工具上例如GA，我们需要依靠广告公司设计营销环节，例如活动页，加监测代码，或者在媒体、app应用商店加入代码便于监测广告表现，而往往这样的数据很难加载，一般是由应用商店，或者媒体提供，同时，以上数据，监测公司数据一般而言也不会提供给广告主，只是会提供统计值。

言归正传，我们看感知数据其实目的就是想衡量我们的大量的营销投放钱花的对不对，广告的展示量、点击量等是最好衡量一个公司的广告市场部门绩效，没有广告投放，就无法带来获客，因此钱花的值不值，能带来多少客人，才会有下一步 acquisition。

（2）Acquisition 获客

获客是第一步广告投放拓展，用户点击广告后到达应用商店或者着陆页后去下载app，访问网页后，登陆app后的数据是广告公司或者应用商店提供不了的数据，因此获客其实有两重目的。

目的1： 衡量第一步提供的数据是否准确，即是否渠道作弊

目的2： 判断渠道是否好坏

目的3： 判断营销活动是否有效

例如下图中，我们发现4成用户是搜索流量较上个月增加了6%，是不是我们需要增加和sem的合作呢？而在媒体引荐渠道中，我们通过渠道衡量客户转化率，点击-用户激活的，激活的注册转化，可否重点对某应用商店增加合作。

下图是目的3的应用，来衡量三个月内的新增用户，活跃用户是否受活动营销、广告投放、版本更迭等影响。例如：7月28日的版本更迭，增加新用户的利器，那么产品经理需要分析下这个版本到底哪里的改变，让用户增长这么快，而8月份的营销活动会唤醒沉睡用户，反应考核运营人员的绩效，那么，是否我们在做促活时候可以借鉴8月的成功经验呢？而这个成功经验需要进一步做专题分析。

（3）Activities 活跃

获客后，我们想看看我们的新增、活跃用户的表现情况，那么就到了第三步 活跃，其实就是为产品经理改版app或者页面提供数据支持。

活跃分析可参考以下三个步骤：

第一：从页面浏览次数，独立访问人数，来圈定主要页面分析。

例如某款app首页是pv，uv最高，我们会重点分析首页。

第二：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

第三：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

（4）Retention留存分析& Revenue & Refer

这几个实际上在企业运用的并不多，这里简要说明下。

① Retention

用户积累到一定数量后，我们想看下用户粘性，那么我们就来到retention，一般是衡量活动效果时候运用的比较多，来看此次活动过后，是否用户依旧会使用我们的app，但是由于金融app属性不会像游戏应用每天进行访问，因此Retention 在实际应用中不会太多，下面的例子是个展示，不做赘述。

② Revenue

这些留下来的客户给公司贡献多少现金呢？会看收入步骤， 一般公司不会将现金流数据放入在统计平台中，但是我们需要提出用户贡献的流水金额数据供我们使用，便于人群划分，例如下面简要分析：

Refer 传播：

最后，我们想让这些客户进行传播；核心是口碑营销，即用户自发的转发给其他用户链接，让他们下载app或者参与活动，因此传播的下一个环节又会转换营销，但是传播会受到很多限制，例如没有奖励机制的口碑传播，几乎转发量为0，同时，传播若要衡量比较困难，尤其在大量互联网用户基础上，这样会造成资源代码叠加，系统负担，因此一般企业也不会设计这样活动让营销人员参考。

用户分析

若说大数据分析的核心，其实就是在于用户分析，正如我们前面所讲，用户分析的步骤流程如下：

即在力所能及的搜集数据范围内，打通数据，客户用户，精准营销。

第一，我们可以筛选的条件列表，我们可以通过应用条件，位置，标签条件将数据整合，整合的目的就是刻画客户，定出营销策略。

例如：我们想筛选金融客户（应用条件筛选），出现在五星级酒店（位置条件），且为母婴人群（标签）。

但是需要注意的是，条件越多，用户轮廓越清晰，人群会越少。

第二，根据筛选的人群，我们将线上/线上统计化，或者建模多维度分析。

例如，我们根据筛选的人群，发现男性多于女性，苹果手机属性最高，常手机工具使用，那么我们可以将这部分目标人群用增加手机工具合作，或者和苹果合作获客或者促活。

第三，整合以上数据分析，形成人群画像。

三秒之内成千上万台车辆统计的多月对比，多张报表数据同时展示。

　　-所有车辆里程累加后本月与上月对比；

　　-所有车辆当月里程排行对比；

　　-单个车辆月（行驶、停驶、超速、总里程、行驶次数等）数据详情；

　　-所有轨迹信息点月分布图（热点图：车辆到过最东、最南、最西、最北）；

　　-数据排行榜（最安全、最危险、最勤奋、最懒惰、行驶最多，最少......）。