一图胜千言，真是这样。人们处理视觉信息比处理文本信息快了不止一点点。如果没有视觉图像，我们会有淹死在文字洪流中的危险。在大数据的世界，视觉信息十分有助于记忆。

数据毫无疑问是非常有用的，但是现如今有太多的数据包围着我们。我们想快速地了解我们正在查看的内容以及弄清数据的意义所在。要做到这一点，运用视觉信息是最好的办法。

如何最好地显示数据，这里有一些很好的方法。

地图

多个世纪以来，地图一直用于从视觉角度表明数据。你可以简单看一眼地图，快速了解一个城市、国家或整个地球的物理空间构成。这种理解至少是基本层面上的。

但是它们也可以变得复杂。交互式地图允许读者点击并深入掌控多层次的细节。热力图可以通过颜色强度来证明特定度量（如人口密度或病毒案例的数量）的分布。

这一张显示了2016年美国总统选举的结果，着色根据获奖候选人的投票比例。

条形图

我们使用它们来比较简单的数据。对大数据，我们同样可以。条形图根据条块的长度或高度显示变量的值。条形图可以是单个的、分组的（也称为聚类的，表示每个变量类别中的多个项目的值）、堆叠的（也称为复合，显示整体的比例）。大多数时候，这种格式应该按照大小排序，除非是表现变量值随着时间的推移而变化。

折线图

基本的折线图表示数据随时间的变化。在一段时间内绘制单个数据点，并将其通过直线连接起来。所得到的线条是随时间变化而产生的变化的形象化表达，并且显示变量的波动性、趋势、加速度（峰值）和减速度（谷值）等数据特征。

你也可以通过线形图来比较同一时间段内的不同变量，这需要给不同变量（线条）以不同颜色。不要在坐标图中使用太多线条，或者也不要让最大的数据值超出你的坐标轴。

下图是关于线形图的一个经典例子，奥运会曲棍球决赛与加拿大埃德蒙顿地区水资源使用的直接影响。在比赛间隙人们冲厕所时出现峰值，比赛重要时刻则出现低谷。

散点图

这类图需要两个变量，自变量（X）和因变量（Y），并且二者的关系可能是正相关、负相关或无关系，你只需把它想成一个没有线条的线形图。

需要足够多的数据点（需要很多），和一条概括性的趋势线。初步来看，散点图能够展示不同数据点之间的既有联系。

以下这个图表，人均GDP与预期寿命成正比，随着时间推移，人们预期寿命变长，这个相关关系依然存在。

信息图表

它可能是目前最流行的数据可视化展示工具。许多人喜欢并在社交媒体上分享的信息图表内容会比分享其他内容多3倍。

把你的研究成果进行可视化的展示，把观点有逻辑地进行连接，并把它们结合到一块，你就创造了一些他人能理解的东西。简而言之，信息图表能得到结果，花时间和精力去创造一个受关注的图表是值得的。

饼状图

说实话，其实有很多人讨厌饼状图，“在与数据可视化历史的有关发展中，饼状图很容易成为最糟糕的传递信息的方式”，但公平来讲，一切都在于你如何使用。

时间线

时间线能够展示特定时间段内的事件。画一条线，标出起点和终点并且添加这两个时点间所发生过的主要事件。然后时间线图就完成了。不管是公司、工厂的历史，或是生产的类产品的历史，时间线都可以实现，清晰易懂。

词云

词云是将一个文本块中词（或短语）的规模和其使用频率联系起来，以此显示一篇文章中其出现的频率。文字在云中所占空间越大，它在一篇文章中也就越频繁出现。

下图的文字云基于《独立宣言》文本而生成。

树状图

当你想很轻易地解释一种层级（阶级）关系，或是多个步骤，树状图可能是合适的方法（比如家谱图）。

适用于企业信息查询

01

企查查 https://qichacha/

作为一款企业信息数据查询的软件，它包含了丰富的数据并且数据有效。在企业征信，大数据分析，互联网金融等多维度对企业进行画像，提供数据解决方案

02

启信保 http://qixin/

强大的数据后台，它的web后台可以支持3秒内同时最多调取10000家企业信息。客户利用APP扫描图片，就能够查询到相关企业的信息。

03

天眼查 https://tianyancha/

整合的信息更多，包括基本的工商信息、企业年更、注册商标等。能够极大的减少查询时间。企业版可查询人与人之间更为隐秘的隐私关系

百度平台下的一些大数据查询平台

01、百度指数 index.baidu

能够查询关键词搜索指数与分析用户群体画像，并且能够看到搜索什么长尾词的热度最多。方便seo优化与竞价挖词。

02、百度营销中心 yingxiao.baidu

可以在上面学习百度推广基础知识，疑难问题解答

03、百度搜索风云榜 top.baidu

查看搜索热点，可以监控热点关键词。

04、百度在线翻译 fanyi.baidu

喜欢的话可以看看，简单的英语翻译哦

05、百度营销研究院 bim.baidu

包含媒体、行业、品牌的一些研究

06、百度口碑 koubei.baidu

要做好品牌，网站的口碑来提升影响力，可以在这里尝试。

07、百度统计 tongji.baidu

如果要进行一个方案的执行或者分析又没有数据的时候，这个工具就能帮到你

互联网金融企业风险控制查询平台

1、 同盾科技 tongdun/product/coreFunc/decision

2、 通付盾 tongfudun/ba.jhtml

3、 汤森路透 https://thomsonreuters/zh/products-services/risk.html

4、 誉存科技 https://star.socialcredits/

四款平台都很强大，但是他们各有各的优势，喜欢的朋友可以去了解一下

当然了，小编还有很多的大数据资料还在整理中，大家就先看看分享出来的好东西，后期还会推出。

最新的大数据征信平台。

伴随着互联网和信息技术的不断开发应用，金融借贷与车辆借贷迅猛发展，出现了信息无法共享问题，阻碍了互联网金融发展，市场迫切需要符合独立开发、数据全面、精确度高，并且能够保护个人信息主体权益的个人征信机构。98征信平台的产生正是补充这方面的空白，依托大数据征信与云端大数据，有效的化解数据短缺的窘境，并且提高了互联网的金融行业的安全性与稳定性，使得风险降到最低。

社会走向始终是向着文明迈进的，各种信用机制的形成正在维护着群体之间的有序交流，依托大数据征信的背景，98征信数据查询平台开发完成，通过人工智能，与风险管理深度相结合，贷款黑名单查询操作变得更加简单易操作化。多端口数据的成功接入，保障了海量数据源，正是由于大量的数据源接入，通过云大数据汇集整理，实现了数据精确度。通过不断升级查询平台，能够更高效的解决个人征信查询难，查询不稳定，查询不精确等问题。

数据中心展示

1、相关数据展示身份要素、身份信息核查、位置区域数据、学历数据、银联数据等身份相关类数据。

2、运营商数据的相关实名核查、欺诈模型数据、消费画像、在网时长，填补了此类数据的核查空白。

3、负债类数据展示随着消费水平的不断提高，人们的消费欲望正在逐渐增强，难免会有借债的冲动，那么必然会留下您的消费记录，从而产生债务类大数据的汇集。

4、车辆信息核查数据在二手车大量交易的大环境下，汇集整理车辆数据是非常有必要的，可以维护消费者的权益，使得车辆数据透明化，防止以次充好的发生。

5、黑名单数据生成进入黑名单固然是有原因，而这些原因有很多，有可能你的一次误操作，都可能被黑名单所记录，更不用说法院公布的失信黑名单。公共类的黑名单是看的见，98征信的强大在于发掘看不到的记录，所以逾期一定要时时查询，防止损失的发生。

目前发展的大数据征信通过接入、采集、分析、加工，生成一种新型的应用模式，促进国内的数字化进程不断的加快，弥补了金融领域的信息空白，打破信息孤岛，整合风控数据，实现防失联可控制的有效机制，也是我们数据开发最终的目的。

大数据分析生态支撑

大数据分析已经渗透到生活的方方面面，分析能力的演进也在不断变化。

分析可以产生报表，企业领导者运用大数据分析的知识沉淀获悉企业经营状况；分析可以对企业运营状态二次加工，以提升业务价值或巩固运营不足；分析可以了解商圈人流密度，运用可视化生成地区热力度，用作监控预警和商圈选址；分析可以进一步挖掘并探索数据价值，利用一些列高级算法构建模型，并引入AI引擎智能化执行；分析可以实时地获悉你想要的东西，比如实时数据更新、实时查询、实时展现、实时监控；分析可以分析互联网用户的行为，比如鼠标点击、页面停留、用户偏好、用户位置等等；

上述诸如此类的分析价值，离不开数据支撑……

企业运用大数据探索业务价值，数据是一点点积累的。无论做数据整合或原系统改造，又或者新建系统甚至购买外部数据源，总之企业的数据源是在逐渐丰富的。那么，假定我们不愁数据源，实际上为了实现顶层的业务价值，必须依托于底层大数据分析的能力才能得以实现。而这个能力就是今天介绍的大数据平台如何支撑混合查询与分析负载。

丰富的查询引擎：今天面对大数据的业务形态，所谓的查询引擎可不再是单一SQL引擎，因为出现了Hadoop，所以就有了Hive的类SQL和Hbase的NoSQL，因为又出现了Spark，所以还有SparkSQL的运用，现在又有了人工智能，所以还有TensorFlow的能力调用，所以今天的分析引擎是非常丰富的，而且在某些应用领域中可能会并行触发很多引擎先后紧密协作，这就对大数据平台的基础支撑能力提出了挑战。

高并发查询响应：大量用户同时访问系统很吃系统资源，这对IT设备的硬件提出了挑战，尤其在今天云爆发的时代，客户很多分析业务并非全都本地化执行，不论AWS还是阿里的云服务都可以为某些case提供基础能力。所以高并发其实是考验系统的I/O能力，但这个能力似乎这几年并没有太大改善（磁盘介质类型、转速、总线带宽），所以迫使之下只能软硬兼施（软性从软件架构上考虑，如MPP架构；硬性从设备性能上考虑，如InfiniBand），与这种能力相关的业务场景同样考验大数据平台的支撑能力。

复杂性查询任务：复杂性查询任务可以体现在某些特定的分析环境，一个复杂查询可能包括几十张大表的关联，涉及条件筛选、关联、聚合、统计等逻辑，所以会占用非常大的I/O。如果将一个复杂查询分解成多个简单子查询，并均衡地分配到各个结点上执行这些子任务，从而缩减查询处理的总体时间。但无论如何，这种作业的高效执行需要大数据平台的支持。

交互式实时查询：这个能力可以从Facebook开源的Presto说起。Presto是一个开源的分布式SQL查询引擎，支持sql92/sql99/sql2003等标准，支持非结构化数据。适用于大数据量的交互式分析查询，基于Apache许可证分发，可支持对Hadoop和其他数据源进行查询分析。这种查询访问更加体现处理时效和敏捷性。

库内高效分析：大数据平台的高级分析能力主要体现于：通过最大限度地减少数据移动量，从而实现高性能数据分析。相比于一般分析过程，高级分析主要取决于平台中分析能力的扩展。支持库内系统级的分布式并行迭代计算，较好的支持数据挖掘与高级分析，提升效率并降低分析成本。

DataLAB敏捷分析：数据沙盒的这种能力能够促进数据探索和实验，业务人员直接分析工具，便于集成、管理和使用，大大提升了工作效率。通过自带的软硬件封装，降低实现成本，维护使用简单。DataLAB敏捷分析能促进探索和实验，提高case效率和运行速度，降低个人数据市场的成本且维护安全。

可视化数据分析：数据可视化是利用图形、图像处理、计算机视觉以及用户界面的手段，通过表达、建模的方式对数据加以可视化解释的应用。主流的数据可视化工具主要有Javascript库类及Web应用类。交互式数据可视化在很大程度上取决于javascript库的能力，能利用相似的数据创建SVG条形图。广泛用数据集的动态可视化展现；WEB应用类可以打开和浏览数据、创建仪表板，并通过拖放等方式轻松创建图标，广泛用于前端报表的可视化。大数据平台的商用与开源兼并，成熟的数据可视化工具提升业务人员分析体验。

跨平台查询访问：随着多种不同的大数据技术运用，在大数据系统内部，可能会有跨平台访问的场景，比如（开发人员在Hadoop系统上执行RDBMS的操作），这就需要提供查询与执行的连接器，实现跨平台数据查询。可通过下推的方式将数据处理工作推送至其他平台完成，从而减少数据复制及移动。大数据平台应提供跨越多个平台的数据查询及分析能力。

上述几种面向业务的查询和分析，尤其是跨越这八种类别的混合查询与分析负载，需要底层强大的能力支撑。而数据采集、ETL平台、大数据存储和计算正是底层的“搬运工”，苦活儿累活儿统统包揽，把能产生业务价值的炫彩闪光点全都留给了分析域，从而更好的构建大数据分析生态。

到2020年，世界上每个人每秒将创建7MB的数据。在过去的几年中，我们已经创造了大量的数据，但却不是整个人类的历史。大数据已如暴风雨之势，且没有丝毫减速的迹象。这时，你可能会想，“大数据行业从哪里来？”

下面有10个大数据预测可以回答你的问题。

1 机器学习将成为大数据中的下一个大事

今天最热门的技术趋势之一就是机器学习，它也将在未来的大数据中发挥重要作用。根据Ovum的预测，机器学习将是大数据革命的前沿。它将帮助企业准备数据并进行预测分析，以便企业能够轻松克服未来的挑战。

2 隐私将成为最大的挑战

无论是物联网还是大数据，新兴技术面临的最大挑战是数据的安全和隐私。我们正在创建的数据量以及将要创建的数据量将使隐私变得更加重要，因为未来隐私的利益将高得多。据Gartner介绍，到2018年，超过50％的商业道德违规将与数据有关。数据安全和隐私问题将成为大数据行业面临的最大障碍，如果不能有效应对数据安全问题，我们将会看到一大批技术趋势迅速变化。

3 首席数据官：新的职位将会出现

你可能熟悉首席执行官（CEO）、首席营销官（CMO）和首席信息官（CIO），但你是否听说过首席数据官（CDO）？如果你的答案是否定的话，别担心，你很快就会知道的。据Forrester说，我们将看到的首席数据官是一个新的职位，企业也将任命首席数据官。虽然，首席数据官的任命完全取决于业务类型及其数据需求，但是跨企业广泛采用大数据技术，招聘首席数据官将成为常态。

4 将高度需求数据科学家

如果你仍然不确定选择哪条职业道路，那么开始你在数据科学领域的职业生涯将是很好的选择。随着数据量的大幅增长，市场对数据科学家，分析师和数据管理专家的需求将会增加。数据专业人员的需求与可用性之间的差距将会扩大。这将有助于数据科学家和分析师获得更高的薪资水平。你在等什么呢？潜入数据科学的世界，拥有更美好的未来。

5 企业将购买算法，而不是软件

我们将看到企业对软件业务的态度有360度的转变。越来越多的企业将寻求购买算法而不是创建自己的算法。购买算法后，企业可以自己添加数据。与购买软件相比，算法为企业提供了更多的自定义选项，毕竟你无法根据需要调整软件。事实上，这反倒是另外一回事了，你的业务必须根据软件流程来进行调整。但所有这些都将随着销售服务的算法成为中心舞台而结束。

6 对大数据技术的投资将会飞涨

据IDC分析师说，“大数据和业务分析的总收入将从2015年的1,220亿美元增加到2019年的1870亿美元。”今年大数据的业务支出将超过570亿美元。虽然企业对大数据的投资可能因行业而有所差异，但大数据支出的增长将保持一致。制造业将花费最大的数据技术，医疗保健，银行业和资源行业将最快地采用大数据。

7 更多的开发者将加入大数据革命

据统计，目前有600万开发商正在使用大数据和使用高级分析。这占全球开发商的33％以上。更令人惊奇的是，大数据刚刚开始，将在未来几年内看到一些开发人员开发大数据应用程序的激增。凭借涉及更高工资的财务报酬，开发商将会喜欢创建可以利用大量数据的应用程序。

8 规范分析将成为BI软件的一部分

企业必须为所有事情购买专用软件的日子已经过去了。今天，企业需要单一的软件来提供他们需要的所有功能和软件公司。商业智能软件也遵循这一趋势，我们将在将来看到为该软件添加的规范性分析功能。

IDC预测，一半的业务分析软件将结合基于认知计算功能的规范分析。这将有助于企业在正确的时间做出明智的决定。随着软件内置智能，你可以快速筛选大量数据，并获得竞争优势。

9 大数据将帮助你打破生产力记录

如果你投资大数据，你的未来投资将不会带来更高的投资回报，特别是在提高你的业务生产力方面。为了给你一个更好的想法，让我们把数字放在一边。据IDC介绍，投资于这项技术并获得快速分析大量数据的能力并提取可操作信息的组织可以在竞争对手方面获得额外的4.300亿美元的生产效益。是的，你读这个权利，430亿美元。记住，可操作是这里的关键词。你需要可操作的信息才能将你的生产力提升到新的高度。

10 大数据将被快速和可行的数据替代

据一些大数据专家介绍，大数据已经死亡。他们认为，企业甚至不使用可以访问的一小部分数据，而大的数据并不总是意味着更好。更快，而不是稍等，大数据将被快速和可操作的数据所取代，这将有助于企业在正确的时间作出正确的决定。拥有大量数据不会给你竞争对手以竞争优势的，但是如何有效和快速地分析数据并从中提取可操作的信息呢？你知道了吗？

一般来说，一本书要比公众号的文章系统性强，一本某个领域的经典教材要比很多快销书系统性强。一个系列课程要比一次1小时的分享系统性强。

说到这里真不知道那些想1个小时听课后就想学会的人是怎么想的。一个知识课程的学习必然要经过下面几个过程：

这个过程也是我在大数据社群里对每一位会员的要求。我详细说下：

1.首先第一步你的预习下知识再听课吧，实际上很多人不预习知识就去听课，却连自己想要通过课程解决什么问题都不知道，这其实就是盲目。就像很多人去炒股，却从没有下功夫提前去学习投资的知识。2.预习完知识后，你肯定心中会很多知识方便的问题，这时候带着问题去听课效才能更好有针对性的去学习。3.听完课很多人没地方问问题，这个社群可以很好的解决这个问题。4.很多知识听着觉得学会了，但是不是自己写出来其实过段时间接忘记。古话说的好，好记性比不上烂笔头。正所谓输出倒逼输入。

既然在这个领域你是新手，就不要指望自己能把散落的信息整合成系统了，那是高手要做的事情。要想系统地学习，那就踏踏实实地拿出几个月的时间来学习。

你又不比别人聪明几倍，却想用几分之一的时间，就掌握人家花了好长时间下了硬功夫，系统掌握的知识，怎么可能呢？

先接受一个已经存在的系统，再在上面修修改改，对于新手是最适合的方案。

那么，对于大数据知识的学习最合适的方案是什么呢？

针对大数据学习过程中可能呢过遇到的问题，我制作了一个系统学习的知识体系。为了让学习过程有趣好玩，设计了“闯关游戏”来激励社群会员的学习。

当你每通过一关我都会为你点亮下面一盏下面的“知识”（指示）灯。当点亮6盏灯后，我会邀请你进入我的董事会群，一起用学到的知识赚钱。

在社群内部提交每一关课程的实践笔记，就会自动收到我给你私人订制的下一关任务和学习道具。

下面是详细的闯关课程内容。

第一部分：培养大数据思维

目标人群：

希望了解大数据相关的科普知识，增加见识

第1关：

科普知识：什么是大数据分析思维>>零基础入门大数据分析的方法论

第二部分：入门必备知识

希望利用大数据分析帮助到现有的工作，实现加薪升职的目标。

第2关 >>数据分析基础：数据结构入门

第3关 >>简单数据处理和分析

第4关：复杂数据处理和分析

第5关：SQL数据分析实战

第三部分：进阶知识

希望抓住大数据时代红利，积极存储相关知识，成为大数据分析师，实现用高端技能改善你的生活状况。

第6关：统计与概率系列知识

第四部分：赚钱是给学习知识最好的回报

最后一关：社群众筹项目

大数据社群的目的很简单：互联网时代，运用学到的知识去赚钱，实现盈利，真真实实告别那些鸡汤，用赚钱的方式获得他人的认可，同时给家人带来真正体面的生活。

大数据社群会不断聚集牛人，借助社群势能孵化多个赚钱的项目。

社群目前已孵化出的第一个项目：知识众筹，致力于让社群会员用知识赚钱。

最重要的是，如果你足够优秀，你会加入知识众筹项目，尝试从我身上赚回学费。

现在加入能跟的上社群的进度吗？

因为社群每一关的课程是可以随时回放收听的，并采用“闯关游戏”玩法让你有趣的学习，所以不管何时加入社群，都可以安心的学会。

在大数据社群内，我一直和社群会员强调这是个实践社群，不要以为交了钱进来就能直接获得什么好处。

该社群目前需要支付人民币 399元 的费用才能加入。根据加入人数，会不定期上涨入群会员费

社群每星期最多只接受10个新成员

社群会不定期封闭暂停接受新成员

作者：冯大福

来源：说说数据分析那些事儿

大数据，这个被炒烂了的概念，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调它的技术，例如网络热词：hadoop+spark，data mining。而我们在用大数据时候，经常神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。

当然这些是我们的畅想，同时确实也离不开数据分析影响，但是我们有没有停下脚步去想一想，到底大数据怎么去落地呢，怎么去分析？怎么利用数据来去使企业做出决策，例如：广告投放精准化？

1

我们了解什么叫大数据分析吗？

麦肯锡给大数据定义：

“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”

基于我对以上定义的理解，我总结的大数据分析就是，将获取的数据打通、整合、找寻规律，立即得出决策信息。

数据获取

我总结的数据源可分类三类：

（1）一方数据：用户事实数据

例如用户在某金融机构购买的理财产品，时间、哪个出单口、姓名、电话等，或者运营数据，例如某互联金融app，用户操作行为数据。

（2）二方数据：其实这部分叫做广告投放数据

例如，广告展示量，活动页点击量，广告来源等。也有公司将这部分数据作为第三方数据，因为有些广告监测公司会利用此数据和人群数据整合构建自己dmp这样的公司一般宣称为第三方公司，三方数据。

（3）三方数据：行业数据，也叫公开数据

例如行协的数据，或者互联网行为数据，例如某互联网公司用户在此网站的行为数据，或者嵌入sdk的app后我们能采集到的安装活跃列表，以及可采集到线下数据。

打通：其实就是利用关键点的采集整合一二三方数据。例如我们可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将二方、三方数据整合。但是由于现在监管制度对手机号敏感数据的控制，以及互联网和移动端数据的跨平台打通技术难点，我们现实的匹配率很低，例如一方和三方的数据匹配达到20%其实就算比较不错的情况，当然运营商数据除外。

找寻规律：目标就是数据清理，从非结构化数据变成结构化数据，以便统计，数据探索，找寻规律，形成数据分析报告观点。本文将会在第三部分阐述。

立即决策：将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。

为什么需要大数据分析？看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，似乎就是我们需要大数据分析的理由。

现在，大数据的分析通常采用的数据报表来反映企业运营状况，同时，对于热点，人群分析，我们看到的统计值，目标核心都是用数据分析报告提炼的观点来指导运营，那么问题来了，怎么用数据分析来指导数据决策呢？

2

数据分析的报告思路

（从移动端的角度进行切入）

基于我对数据分析的理解，我将数据报告会分成三大类：市场分析、运营分析、用户行为分析。

市场分析

由于市场分析一般而言是定性、定量分析，最近热播剧《我的前半生》贺函和唐晶的职业就是来去咨询公司的一般会以访谈、问卷调查来一份市场分析报告去告诉客户他们的市场占有量，消费者观点等。

这里，我们以移动互联网数据的市场分析为例，通常来说，数据源是公开数据，或者在第三方数据。正如我们所讲，将sdk嵌入开发者应用，就可以收集到安装以及使用列表，那么开发者使用的sdk越多，我们能收集的数据源也越多，这样就可以形成安装app排名，使用app排名，这里面所说的覆盖率、活跃率也是这个意思，例如：即此款应用安装量、使用量在整体金融类的安装量、使用量占比。

那么，这些市场分析的作用呢，一般而言，是对公司市场营销的总结，比如某金融公司kpi是为了获客，他们做了一系列营销，下个月排名我们可以查询到此款应用的安装量，是否较上个月上升呢？ 那么我们的竞品表现呢，他们是不是也做了一些列的营销活动排名上升下降？我们都可以通过市场分析、竞品分析来观测，但是这部分的观点由于是市场数据，我们只能通过大量的搜寻官网活动，或者互联网广告推测营销来推测是否竞争对手排名上升和这些营销活动有关。

同时，根据市场的走势图，我们能发现潜在的竞争对手，例如：我们能看出下图中的工商银行由于手机属于高覆盖高活跃组，即安装xxapp活跃人群也是最高的，因此，无疑xx银行是所有银行组潜在竞争对手。需要更加注意他们的市场策略。

运营分析

移动互联网提出的方法论：3A3R，笔者之前在做咨询的时候，此方法论也可以将网站分析套用，总结来说3A3R就是：

感知 → 获取 → 活跃 → 获取 → 营收 → 传播 → 感知

这里需要注明下，运营分析只是一个公司的baseline，让产品经理、运营人员、市场人员根据自己本公司的数据参考做出合理的决定，同时，运营的数据只是参考或者叫警示，若要具体，需要特定细节的分析，例如是否app改版，怎么改？需要增加哪家渠道合作？

（1）Awareness 感知

根据广告投放数据进行分析，目的判断渠道广告页对app 或者网站引流情况，同时可以帮助广告主设计监测表格，以数字角度衡量广告投放效果。

但是，广告数据一般而言在广告监测公司手中，或者公开的使用工具上例如GA，我们需要依靠广告公司设计营销环节，例如活动页，加监测代码，或者在媒体、app应用商店加入代码便于监测广告表现，而往往这样的数据很难加载，一般是由应用商店，或者媒体提供，同时，以上数据，监测公司数据一般而言也不会提供给广告主，只是会提供统计值。

言归正传，我们看感知数据其实目的就是想衡量我们的大量的营销投放钱花的对不对，广告的展示量、点击量等是最好衡量一个公司的广告市场部门绩效，没有广告投放，就无法带来获客，因此钱花的值不值，能带来多少客人，才会有下一步 acquisition。

（2）Acquisition 获客

获客是第一步广告投放拓展，用户点击广告后到达应用商店或者着陆页后去下载app，访问网页后，登陆app后的数据是广告公司或者应用商店提供不了的数据，因此获客其实有两重目的。

目的1： 衡量第一步提供的数据是否准确，即是否渠道作弊

目的2： 判断渠道是否好坏

目的3： 判断营销活动是否有效

例如下图中，我们发现4成用户是搜索流量较上个月增加了6%，是不是我们需要增加和sem的合作呢？而在媒体引荐渠道中，我们通过渠道衡量客户转化率，点击-用户激活的，激活的注册转化，可否重点对某应用商店增加合作。

下图是目的3的应用，来衡量三个月内的新增用户，活跃用户是否受活动营销、广告投放、版本更迭等影响。例如：7月28日的版本更迭，增加新用户的利器，那么产品经理需要分析下这个版本到底哪里的改变，让用户增长这么快，而8月份的营销活动会唤醒沉睡用户，反应考核运营人员的绩效，那么，是否我们在做促活时候可以借鉴8月的成功经验呢？而这个成功经验需要进一步做专题分析。

（3）Activities 活跃

获客后，我们想看看我们的新增、活跃用户的表现情况，那么就到了第三步 活跃，其实就是为产品经理改版app或者页面提供数据支持。

活跃分析可参考以下三个步骤：

第一：从页面浏览次数，独立访问人数，来圈定主要页面分析。

例如某款app首页是pv，uv最高，我们会重点分析首页。

第二：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

第三：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

（4）Retention留存分析& Revenue & Refer

这几个实际上在企业运用的并不多，这里简要说明下。

① Retention

用户积累到一定数量后，我们想看下用户粘性，那么我们就来到retention，一般是衡量活动效果时候运用的比较多，来看此次活动过后，是否用户依旧会使用我们的app，但是由于金融app属性不会像游戏应用每天进行访问，因此Retention 在实际应用中不会太多，下面的例子是个展示，不做赘述。

② Revenue

这些留下来的客户给公司贡献多少现金呢？会看收入步骤， 一般公司不会将现金流数据放入在统计平台中，但是我们需要提出用户贡献的流水金额数据供我们使用，便于人群划分，例如下面简要分析：

Refer 传播：

最后，我们想让这些客户进行传播；核心是口碑营销，即用户自发的转发给其他用户链接，让他们下载app或者参与活动，因此传播的下一个环节又会转换营销，但是传播会受到很多限制，例如没有奖励机制的口碑传播，几乎转发量为0，同时，传播若要衡量比较困难，尤其在大量互联网用户基础上，这样会造成资源代码叠加，系统负担，因此一般企业也不会设计这样活动让营销人员参考。

用户分析

若说大数据分析的核心，其实就是在于用户分析，正如我们前面所讲，用户分析的步骤流程如下：

即在力所能及的搜集数据范围内，打通数据，客户用户，精准营销。

第一，我们可以筛选的条件列表，我们可以通过应用条件，位置，标签条件将数据整合，整合的目的就是刻画客户，定出营销策略。

例如：我们想筛选金融客户（应用条件筛选），出现在五星级酒店（位置条件），且为母婴人群（标签）。

但是需要注意的是，条件越多，用户轮廓越清晰，人群会越少。

第二，根据筛选的人群，我们将线上/线上统计化，或者建模多维度分析。

例如，我们根据筛选的人群，发现男性多于女性，苹果手机属性最高，常手机工具使用，那么我们可以将这部分目标人群用增加手机工具合作，或者和苹果合作获客或者促活。

第三，整合以上数据分析，形成人群画像。

2017年1月23日，《大数据产业发展指数报告》暨国际大数据发展委员会筹备研讨会在京举行，首度面向国内31个省市区、70个大中城市开展大数据产业发展水平研究，这也意味着我国的大数据技术走到了一个关键路口。

自“大数据商业应用第一人”维克托·迈尔·舍恩伯格发表《大数据时代》一书以来，“大数据”一词获得了广泛关注，但同时也引发了人们的扣问：大数据究竟能给我们带来什么？大数据发展至今，它的下一步会是怎样的？对此，近期在接受采访时，百度研究院大数据实验室沈志勇博士给出了他的答案：“大数据技术的发展往上往下两个方向走，往上的方向是人工智能，往下的则是各个行业的具体落地。”

那么百度作为一家以技术为驱动的互联网企业，又是如何应对大数据时代的挑战的呢？沈志勇博士介绍到，目前百度在做的包括基础的语音识别、图像识别、自然语言处理的强化，以及在这些技术基础上结合应用场景衍生出的技术，比如其所在的百度研究院大数据实验室（BDL）在做的美乐医问诊平台、无人驾驶、度秘机器人等。

沈博士同时畅谈了BDL目前的发展方向。秉承着百度“科技为生活”的理念，BDL会更多的关注生活中的重要元素：健康。通过美乐医智能问诊平台，为大众提供健康管理服务：包括健康资讯、导诊与个性化体检等服务；同时通过辅助诊疗系统，提高基层医生的水平以及重点医院的效率，改善患者的就诊体验。为了丰富这一理念的实践价值，百度还与西安交通大学共建大数据实验室。“西交大有技术的积累、数据的资源，我方同样有技术的积累，以及庞大的面向用户的应用平台。”谈及此次合作，沈博士表示，希望双方能够共结惠及大众的医疗健康相关的人工智能技术硕果。

让技术普惠生活，让AI等高新技术更多的走出实验室同人们的日常接轨，是BDL团队的使命，也是他们共同的愿景：学以致用，希望将自己的所学，包括机器学习、数据挖掘以及人工智能的相关技术，在百度这个大平台上，在行业、用户中产生切实的影响力。

而这份愿景也源自这批百度研究院大数据实验室（BDL）人才团队对于生活和技术的热忱。不同于传统意义上无趣的IT狂人、奇异博士，这些顶着“数据科学家”title的顶尖人才也是一群接地气的生活达人。谈及团队伙伴，沈博士不时流露出自豪之感：“他们都是很正常的码农，很多同学也有很广泛的爱好。平时团建的时候可能是比较多能体现出各自生活中特点的时候，可以看到很多人喜欢摄影，去KTV发现很多人是隐藏的麦霸，密室逃脱的时候也经常做不出题来……”正因为他们懂生活，也自然更懂普通人最迫切的所需，从而更加懂得：技术唯有扎根于生活的土壤才更有意义。

正如沈博士所言：“生活里面很多事情都是有乐趣的，希望人工智能技术给人带来的便利在任何时候都是可切换的，尽量的去取代那些已经让人厌烦但是不得不做的事情。”

近几年，大数据这个词突然变得很火，不仅纳入阿里巴巴、谷歌等互联网公司的战略规划中，同时也在我国国务院和其他国家的政府报告中多次提及，大数据无疑成为当今互联网世界中的新宠儿。

而近期朋友圈疯转的“马云无人超市迎客，再不努力你将无工可打”，“看李彦宏如何谈AI”等新闻热点，无不展示着人工智能的快速发展，但在直木看来，人工智能之所以能取得突飞猛进的进展的背后，不能不说这些年来大数据长足发展的结果。

人工智能和大数据有什么关系呢？

如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。

据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万，越来越多人加入到大数据培训，都希望在大数据培训机构中学习最前沿的知识，找一份不错的工作。

本文从4个方向让大家充分了解大数据，望对同学们的大数据从业有帮助：

大数据就业前景

大数据就业方向

大数据就业薪资

大数据职业发展

一、大数据就业前景

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

二、大数据就业方向

大数据领域三个大的技术方向，这些不同的技术方向，对应企业的哪些招聘岗位？

1. Hadoop大数据开发方向

市场需求旺盛，大数据培训的主体，目前IT培训机构的重点

对应岗位：大数据开发工程师、爬虫工程师、数据分析师 等

2. 数据挖掘、数据分析&机器学习方向

学习起点高、难度大，市面上只有很少的培训机构在做。

对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等

3. 大数据运维&云计算方向

市场需求中等，更偏向于Linux、云计算学科

对应岗位：大数据运维工程师

精通任何方向之一者，均会 “ 前（钱）”途无量。

三个方向中，大数据开发是基础。以Hadoop开发工程师为例，Hadoop入门月薪已经达到了 8K 以上，工作1年月薪可达到 1.2W 以上，具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万，一般需要大数据处理的公司基本上都是大公司，所以学习大数据专业也是进大公司的捷径。

三、大数据就业薪资

1、基础人才-数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

2、大数据开发工程师

北京大数据开发平均工资：30230/月。

3、Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

4、数据挖掘工程师

北京数据挖掘平均工资：21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

5、算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

四、大数据职业发展

最后一个问题，到底哪些公司需求大数据人才？

事实上，大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

目前，大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。、

大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。

马云说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

我们从大哥大，小灵通，到诺基亚塞班，到今天的人手一部智能手机，每天各大企业会收到多少数据，如何从这些数据里面分析础客户的需求，这都是企业所要做的事，总之，数据，是未来的一切。

大数据的作用是在海量数据的基础上，通过算法模型，获得有意义的结果，然后优化资源配置，发现现象，未来预测等。

长话短说，让我们用一个例子来告诉你大数据有多么强大。

今天头条:很多数据是别人的，你是怎么得到的?通过数据分析方法提取文字分析，统计分析消除。在今天的标题中，用户点击开始后端服务器有日志，请求一个点击日志，一个临时集群围绕大数据，计算点击率，就像这样可以计算出用户，用户不喜欢再做调整。通过大数据评估点击率，新广告将在一个小时内进行，以观察下一个小时的点击率，广告将进行排名和调整。

摩拜单车:它是通过物联网终端，总是通过数据，发送数据再上去卖钱，交押金做金融，不要说靠你那五毛钱来生产效益。

项目推荐:网站、音乐、电影、网站、电子商务网站将根据您的浏览行为进行分析，并根据您的兴趣向您推荐相应的项目，如爱奇艺、QQ音乐、京东等。

金融:银行利用大数据来分析用户的消费行为、购买能力和还款能力，降低贷款给用户的风险，降低还款率。

信用:支付宝的芝麻增加了更多的维度，如你的关系、教育、汽车等因素来评估你的信用价值，为信用价值高的人提供更好的服务，例如高信用酒店不必支付押金。

智慧城市:现在更具代表性的功能是能够控制路灯的亮度，可以达到节约用电的效果。通过交通流控制交通信号灯来减少道路拥堵。

大数据处理技术的应用使这些方面有了更好的发展，如果不是大数据处理技术的出现，那可能是因为太多的数据处理不过来，或者根本无法处理。这自然会导致一些落后的或根本不可行的企业的发展。当然，将来会有越来越多的大数据应用，比如物联网、人工智能等。前景是光明的。

如果你不知道，那我就给你一个更粗俗的例子，那就是，“你屁股一撅我就知道你拉的是什么屎”这是由于某人或某物经过长时间的接触，了解了彼此足够的信息，促进了对事物的认知，从而对事物有了更多的了解，并期待着下一步的行动。大数据处理技术就是这样一个过程，他的过程可以分为收集、处理、分析和鉴定，这四个步骤的预测。事实上，它是模拟人类对事物的认知和程序的编程和量化过程的过程。

2018据说是大数据元年，各位，快加入大数据的浪潮，世界早晚会惩罚不喜欢学习的人。