大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

我国从2015年提出了国家大数据战略，大数据已经成为企业品牌应对市场变化和占据市场先机的重要手段，是企业转型升级、科学运营、科学管理、营销推广的指导工具。下面高端营销推广平台鹿豹座就来介绍下大数据分析的解决方案。

2011年-2017年以来，大数据的百度指数从微弱的不足100点飙升至10435点，获得了各行业的广泛关注和高度重视。以鹿豹座大数据服务为例，鹿豹座致力于把互联网巨头垄断大数据的现状变成普惠型数据分享，让更多的大中型企业和发展中的潜力企业能更好地利用互联网大数据，发挥大数据千里眼、顺风耳的作用，为品牌营销推广做正确导航。截止2017年年底，鹿豹座平台与ICIBD已经合作覆盖了500多个行业及产品类别的互联网大数据分析。

大数据数据分析一般技巧

①通过中国互联网大数据了解产品的消费者需求偏好、增长趋势、同行竞争、消费数据、政策环境、广告消费、市场前景等，指导产品研发设计及市场定价策略;

②消费升级后，高端消费者在购买产品时关心的产品知识是什么，信任什么网络信息渠道，分析用户心理和关注因素，制定宣传策略和选择宣传方式;

③分析行业龙头的网络宣传策略，并了解消费者选择品牌时关注的购买因素，制定差异化营销策略，用消费者喜欢的内容和方式巧妙取胜;

大数据对于品牌推广作用

①借助大数据制定品牌推广策略，提升品牌知名度、影响力、良好口碑，集团公司整体形象宣传;

②通过大数据，锁定目标招商对象，为品牌做招商加盟宣传、品牌连锁店宣传，通过网络扩大招商影响;

③通过对企业品牌节假日促销/活动/开业/庆典/展会等的线上二次宣传，扩大活动营销效果;

④企业上市宣传、企业海外上市宣传、上市公司网络形象优化、上市公关服务;

⑤产品宣传、新品上市、产品扩大知名度、产品快速进行展现、产品线上宣传等。

大数据如何应用于电商推广

①电商品牌重要节庆宣传，如双十一促销、中秋节促销、年货节促销等。提前1-2个月覆盖精准客户关心的话题、分析潜在需求数据;

②电商品牌全年品牌推广计划，品牌全网宣传包年合作，全面打造淘品牌。通过大数据分析客户需求、关心元素、品牌排名等，刺激用户购买需求，提升品牌口碑。

高端营销推广平台鹿豹座认为，依托多平台的大数据采集，以及大数据技术的分析与预测能力，能够使推广更加精准有效，给品牌企业带来更高的投资回报率。未来企业如想进一步提升品牌知名度并准确把握市场走向，进行大数据营销是必不可少的。

好程序员致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程2月26日、全栈HTML5+6期班3月26日开班在即，现报名免费试学30天，学费优惠5000元。

2017 年马云在某次年会演讲中提到一件让他惊讶的事情。

在西湖边上他曾看到乞丐在用支付宝收款码进行乞讨，从界面操作上看该乞丐还能熟练应用支付宝提供的「生意通」功能，研究本周的乞讨收入趋势以及单位小时的乞讨金额，从而为自己制定更加高效的的乞讨策略。

图片来源于网络

乞丐都在用数据分析来武装自己了，身为互联网从业者，你还敢落后？为了让你感知到数据分析对工作效率提升价值，我们来看一个真实的运营案例。

你为什么要学习数据分析

运营研究社在 2018 年以前，公众号图文的推送时间是不固定的，在早上、中午、下班时间、深夜都有过推送，所以相应的阅读量的波动也非常大。

在今年年初我提出了一个假设“如果把推送时间固定的话，会不会对图文打开率（阅读量）的提升有促进作用”。

为了检验这一设想，当时我需要解决的第一个问题是：

“运营研究社的公众号黄金推送时间在哪？”

我导出了运营研究社过去 1 年里的图文数据，并拿推送时间、打开率、标题 3 个数据字段来构建散点图。

运营研究社过去半年图文数据

从过去 1 年的推送时间和打开率的散点分布图来看，高打开率的图文主要集中在中午 12 点、13 点两个个时间段，于是我把将这两个时间点定义成运营研究社图文推送的黄金时间。

在实践中也证明了“在固定时间推送内容有利用提升打开率”假设是正确的，从阅读数据上的反馈就是我们的阅读量在 3 个月时间里提升了 200%。

无论是在生活还是工作，数据分析已是一项必备技能。

我在招聘网站上研究了近 100 个运营岗位的职责要求，用户运营、内容运营、产品运营、社群运营、渠道运营，它们几乎都会在靠前的位置写上这样一行文字：

“通过有效的数据分析（点击率，访问，转化率等），研究分析用户的需求制定运营策略”。

为了让你能够掌握最实用的数据分析技能，本篇文章将带你了解数据分析字段与产品指标、熟知数据驱动运营的底层方法。

“竟巧妇难为无米之炊”，为了让小伙伴们赢在起跑线，下面将开始系统讲解数据分析里的底层元素——数据字段。

你的基础数据字段足够全嘛？

2015 年我在百度贴吧在内容运营，当时的我们核心 KPI 是将次日留存率提升至 45%，于是我就想研究用户首次登入的内容消费量与次日留存的关系，以期通过优化内容推荐系统来提升次日留存。

想法很好，现实却很悲剧，我在给技术同学提数据分析需求时，他们很佛性的回了句：

“抱歉，我们没有统计用户的内容消费数据”。

由于缺乏用户的内容消费数据，我当时只能搁置这套数据分析方案了（在补充统计用户消费字段的 1 个月后才最终落地执行）。

跟大家分享这个案例，主要是希望大家能够理解，数据分析的底层关键支撑是基础数据字段，没有基础数据字段你的任何数据分析方案都执行不了，没有基础数据字段，你再老司机也无法用数据驱动运营。

所以，为了能够做好数据分析，你需要尽可能全面的提出你的数据字段需求，具体来说包括如下 2 类基础数据字段：

1）用户信息数据字段

它指的是用户的社会信息数据，比如姓名、性别、出生年月、籍贯、婚姻、学历，手机、邮箱等字段

对于电商和母婴类产品来说，还需要基于「用户行为数据」推导家庭类型、家庭人数、家庭小孩标签、工作岗位、所处行业等高级用户信息数据字段。

2）用户行为数据字段

用户行为数据字段在记录时的格式通常是User id（哪个用户）+Active（哪种操作）+Time（何时产生）。

比如今天上午，我在贴吧客户端首页看了一篇与 China Joy 有关的的贴子，并且还对妹子们的颜值留进行了评轮。那么贴吧官方会将我的看贴行为数据，以如下格式被统计下来。

用户行为数据字段是每一位用户在产品上操作行为的数据记录，不同产品类型需要的需要记录的用户行为是不一样的。

阅读内容、点赞、评论、分享是社区产品的关键用户行为字段，点击产品、添加购物车、下单、付费、评价是电商产品的关键用户行为字段……

相比于用户信息数据而言，用户行为数据是数据分析的重中之重，可以基于用户行为数据的处理加工，分析出每天产品的登入用户总量（DAU）、新用户留存以及评论用户总量等产品数据指标。

促进数据增长指标都有那些?

有两位内容运营的同学，有一天领导问他们最近的产品情况怎么样。

其中一位运营说产品表现很不错，每天都有很多人互动和称赞，另外一位运营回答说产品有问题，用户都不怎么会将内容分享出去。

如果你作为老板，你应该相信谁？

我想这两位同学你应该都不会相信，甚至还会很生气，因为你的员工没有一点点的数据分析意识。

现代管理学之父彼得·德鲁克说过一句很经典的话：

如果你不能衡量它，那么你就不能有效增长它。

为了能够让数据驱动业务增长，我们需要制定业务的衡量标准，用统一的衡量标准来定义和评价业务，这个统一的标准在数据分析中叫做指标。

案例中的两位内容运营如果能够以互动率和点赞率、分享率这 3 个产品数据指标来向领导汇报自己的运营工作的话，或许就能够在领导心中留个好印象了。

了解和使用指标是数据分析思维的第二步，我们需要基于具体的业务需求设定能够驱动产品增长的指标。（Ps：数据指标是由用户基础数据字段处理加工而成）

按照比较受大家认可的 AARRR 产品增长模型，我们可以将指标分为五大类：拉新指标、活跃指标、留存指标、转化指标、传播指标。

5个产品的拉新指标

运营通过渠道投放让“用户”接触到产品，当“用户”觉得产品不错就会去下载它，打开产品发现里边的内容蛮适合自己，“用户”就会注册产品，最终成为产品真正的用户。

以上是绝大部分运营都会经历的拉新过程，如果你想监控整个过程，并且评估拉新的执行效果，那么你就需要设置如下数据指标。

1）浏览量

俗称曝光量，指的是产品的推广信息在朋友圈、搜索引擎、应用商店等渠道渠道中被多少用户看到。与浏览量相对应的是点击量，它们俩的比例在业内有一个专业词汇 CTR（CTR=点击量/浏览量），很多广告平台会用 CTR 来评估广告质量。

2）下载量

指的是 App 的安装次数，是衡量拉新效果的结果指标。不过，App 下载其实是一个中间态，为了让产品从曝光到下载有一个高转化，你需要注意应用大小、介绍文案的打磨。

比如游戏类 App，为了避免怕漫长的下载时间造成玩家流失，会选择让用户下载后以补丁形式完成全部素材的加载。

3）新增用户

下载并不是意味着就是用户，如果某个“用户”只下载了并没有注册，那它就是一个无效的用户。对于用户的界定，每个产品是不一样的，大部分的产品是用户注册了 App，就被定义为用户了，比如知乎、微博、小红书、百度贴吧。

4）获取成本

用户获取必然涉及成本，而这是运营新手最容易忽略的。目前常见的成本的计算方式有 CPM（千次曝光成本）、CPC（单次点击成本）、CPA（单次获客成本）。

5个产品的活跃指标

相比于下载量和用户量而言，在人口红利消失后，大家开始更关注实实在在的东西了——你到底有多少活跃用户。

用户活跃作为运营的核心工作，不论移动端、网页端或者微信端，都有相关指标可以衡量。

1）活跃用户数

DAU 指的是日活跃用户数量，指的是在 24 小时内活跃用户的总量。把时间周期拉长的还有周活跃 WAU 和月活跃 MAU。（MAU 指的是一个月时间周期里去重后的活跃用户总和）

Ps：与活跃用户相对应的还有流失用户、忠实用户、回流用户，其中流失用户是长期不活跃，忠诚用户是长期活跃，回流用户是曾经不活跃或流失，后来又再次打开产品的活跃用户。

2）活跃率

活跃用户数衡量的是产品的市场体量，活跃率看的则是产品的健康。

比如说某款产品的 DAU 是 100 万，可能你觉得还不错，但是我跟你说它的总注册用户是 1 亿，活跃率仅为 1%，你的感受可能就是这款产品很不错了。

3）在线时长

现在数据分析也越来越注重用户行为了，为了深入研究一款 App 的活跃健康度就需要去研究在线时长（它是视频类网站的核心数据指标）。

不同产品类型的访问时长不同，社交肯定长于工具类产品，内容平台肯定长于金融理财，如果你是做内容的产品的，发现大部分用户访问时长只有几十秒，那么最好分析一下原因。

4）启动次数

它体现的是用户的使用频率，用户的日均启动次数越多，说明用户对产品的依赖性越高，活跃度也就越好。

社交产品的人均启动次数会在 3-5 次之间，是通互联网中在启动次数指标中数值最高的。

5）页面浏览量

PV（PageView）是页面浏览量，UV（Unique Visitor）是一定时间内访问网页的人数，用户在网页的一次访问请求可以看作一个 PV，用户看了十个网页，则 PV 为 10。

PV 是互联网早期 Web 站点时代的活跃指标，也可以理解为网页版活跃。

5个产品的留存指标

如果说活跃数和活跃率是产品的市场大小和健康程度的话，那么用户留存衡量产品是否产品能够可持续发展，如果你是早期产品就更应该关注是留存指标了。

1）用户留存率

留存率 = 留存用户 / 当初的总用户量

用户在某段时间使用产品，过了一段时间后，仍旧继续使用的用户，被称为留存用户。

假设产品某天在某渠道新增了用户 1000 个，第二天仍旧登入产品的用户有 350 个，第 7 天仍旧登入产品的有 100 人，那么这个渠道获取来的用户次日留存率有 35%，那么称七日留存率为 10%。

Facebook 有一个著名的 40-20-10 法则，即新用户次日留存率为 40%，七日留存率为 20%，三十日留存率为 10%，有此表现的产品属于数据比较好的。

2）用户流失率

用户流失率和留存率恰好相反，如果某产品新用户的次日留存为 30%，那么反过来说明有 70% 的用户流失了。

流失率在一定程度能预测产品的发展，如果产品某阶段有用户 10 万，月流失率为 20%，简单推测，5 个月后产品将失去所有的用户。

Ps：这里可以引出一个公式，生命周期 = （1 / 流失率）*流失率的时间维度。比如产品的周流失率为 50%，那么平均用户生命周期为 14 天。

15个产品的转化指标

运营而言，拉新和活跃、留存都只是手段，最终衡量你工作业绩的是你手上掌握了多少有价值的用户。

运营就像用户成长路上的指引者，指引者产品里的用户成为能够产生价值的超级用户，即回归商业的本质。

交易类产品转化指标

1）GMV

它是一个虚荣指标，只要用户下单，生成订单号，便可以算在 GMV 里，不管用户是否真的购买了，京东在双十一对外发布的战报是 GMV。

2）成交额

成交金额指的是用户付款的实际流水，是用户购买后的消费金额，天猫在双十一对外发布的战报是成交额。

3）销售收入

它指的是成交金额减去退款后剩余的金额，属于内部机密数据了。

如果把上述的三个指标看作用户支付的动态环节，则能再产生两个新指标。

成交金额与 GMV 的比率，实际能换算成订单支付率，它体现的支付的流畅度；销售收入和成交金额，也涉及到了退款率，它体现的是产品质量。

4）付费用户量

在产品里边产生过交易行为的用户总量，同活跃用户一样，交易用户也可以区分为首单用户（第一次消费），忠诚消费用户（持续购买的用户），流失消费用户（流失后又回来的用户）等。

同时，为了研究用户的付费潜力，你还可以研究下产品的付费用户比例：

付费用户比例 = 付费用户 ÷ 总注册用户

5）ARPU

在单个促销活动中，它指的是每一笔用户订单的收入，总收入/订单数。而在整个产品生命周期中，我们更关注用户平均付费，总收入/用户数。

ARPU 可以再一步细分，当普通用户占比太多，往往还会采用每付费用户平均收入：ARPPU = 总收入÷ 收费用户数

6）复购率

和新增用户一样，获得一个新付费用户的成本已经高于维护熟客的成本。复购率更多用在整体的重复购买次数统计：单位时间内，消费两次以上的用户数占购买总用户数。

比如运营研究社的技能训练营在第一季度有 1789 个付费用户，购买次数在两次以上的有 657 人，那么我们季度复购率是 36%。

社区型产品转化指标

社区型产品的首要目的是将用户聚集在一起，并且引入用户生成内容，它的核心关键在于培养一个能够生成内容的活跃用户社区。

1）内容生成者

参与内容生存的用户�...

INDASS

是智物联Mixlinker体系中的工业物联网数据分析服务系统（Industrial Data Analysis Service System），是智物联Mixlinker提供的工业物联网数据分析服务。

我们知道，智物联Mixlinker工业设备物联网的三大基础部分内容，分别是：

第一部分：工业设备数据采集、数据组织、数据发送到云平台——

适配器APRUS和APICO

；

第二部分：云平台数据接收、再组织、存储、快速检索，以及进行分发和交换——

GARDS

第三部分：数据的展现和相关信息的管理——

FIDIS

。

这三部分是智物联Mixlinker工业设备物联网最基础的工作，他们都是围绕工业设备数据这个核心进行一系列相关工作的。

工业物联网数据分析

简称

数据分析

，是对工业设备数据更加深入的应用，其目的就是通过对这些数据深入计算和分析，找出数据的变化规律，从而分析出设备运行的规律。

数据分析包括两方面内容，分别是：小数据分析和大数据分析。

小数据分析

就是通过对最近一段时期（如几个小时、一天）之内各单台设备运行数据的分析，对单台设备当前的运行状态做出客观评估，并对单台设备在未来一段时间的运行情况进行预测，这就是INDASS。

大数据分析

就是根据一个（或多个）确定的分析命题，并基于同类或不同类多台设备（或设备群）所采集的，在相当长时间（如三个月、半年、甚至一年）的数据进行分析，达成（或接近）命题所要求分析结果。

要做大数据分析，我们需要做三件事：

第一：建立大数据分析的命题，并评估命题的可行性，命题就是我们想要知道的问题和答案。

比如，我们可以提出这样的命题：

“我们生产的柴油发动机的不同型号或者系列的一致性有没有差别？有什么差别？”

或者是这样的命题：

“我们生产的柴油发动机，在东北、西北、华中、华南等不同地域条件下，运行能耗有没有差别？有什么差别？有多大差别？是什么原因导致的这些差别？”

“我们的柴油发动机，在不同的工况条件下，如内陆油田钻井平台、海洋钻井平台，发生故障的频率、故障的原因、故障的类型，有没有不同？有什么不同？是什么原因导致的不同？”

无论是什么命题，都需要对命题的可行性做出评估，因为并不是所有的命题都一定能分析出一个客观可信的结论。比如这样的命题：“我们的柴油发动机产品销售到某地，对该地的文教事业有什么影响”。这个命题，很显然我们是无法从柴油发动机的运行数据中找到答案。

第二：根据命题设计数学模型，然后基于刚才说的大数据，进行一系列的计算和分析。

这里说的是两个东西，一个是建立数学模型，另一个是计算和分析。怎么去建立数学模型呢？我们先忽略“数学”这两字，就说“模型”。如果我们用通俗的话来解释，那么模型可以简单理解成一个“模子”，就像我们做月饼需要 “模子”一样，把月饼的内容（皮儿和馅儿）放到模子里面再拿出来，就是月饼的模样。

我们用刚才说到的一个命题来举例子：“我们生产的柴油发动机，在东北、西北、华中、华南等不同地域条件下，运行能耗有没有差别？有什么差别？有多大差别？是什么原因导致的这些差别？”

这个命题的模子是这样的：

这个模子的意思是，我们把大数据按六个区域的数据进行过滤和区分，然后把每个区域的相关数据，也就是能耗以及跟能耗有关的数据特征进行计算和提取；然后我们再把提取出来的能耗特征进行比较分析。这个比较分析并不是盲目的，是需要按我们确定好的议题来：

（1）差别存在的比例有多少、从而判断差别是不是具有普遍性；

（2）差别现象是什么、差别表现在哪里；

（3）把差别量化，要分析出究竟不同的现象对应有什么差别程度；

（4）对应的差别现象、对应的差别程度，相对应的原因都是什么。

第三：就是刚才我们说的分析结果，输出报告。大数据分析给这个报告提供了明确的论点；大数据就是这个论点的论据；大数据分析就是这个论点的论证。

前面我们对“小数据分析”做了定义。

小数据分析，在设备物联网中非常重要，也非常实用。小数据分析与大数据分析不同，小数据分析的内容（也可以叫命题）是确定的，分析结果是需要迅速输出的（不像大数据分析，可以花两个月计算，三个月写报告。

准确来说，INDASS是一个“计算和分析”的服务或者工具。首先，INDASS可以提供一系列的基础计算服务，比如，积分计算、方差/协方差计算、方差/协方差矩阵计算、非线性方程计算、函数拟合计算，等等。这些计算实际上也是需要消耗大量计算资源的，也有一定的难度，因此，是不适合放在应用层面去计算。

其次，INDASS可以提供特定的分析任务，包括：设备运行指数计算、设备运行参数预测、设备数据稳定性计算。

设备运行指数

假如设备有180个参数，或者更多，这就带来很多问题，计算量非常大，即便我们能找到计算方法，也没法去计算。所以，我们只能一切从简，这就是指数。

设备运行指数计算

就是根据设备的全部（或部分）关键参数，通过一个算法，计算出一个单一数值，来表示这个设备当前的运行状况。一个设备可能有一百多两百个参数，这些参数之间的关联非常复杂，某些参数的变化，可能直接或间接导致其他一些参数的变化，某些参数的变化，可能会导致设备出现问题。指数就是我们用一个简单的方法，对复杂的设备系统进行“定位”。这就好比我们用“成绩”来说明一个学生的学习好坏；而用“智商”来衡量一个人有多聪明。

指数当前的水平，以及指数的变化，实际上从另一个侧面，反应了设备运行状态的变化。比如，某学生的这学期的学习成绩80分，只能说明该学生读书一般般。如果几个学期该生的成绩都是80左右，说明该生学习成绩还算稳定；但是，我们如果知道，该学生上学期的成绩是50分，那么，我们就知道，这个学生是在进步，应该鼓励表扬；相反，如果该学生上学期的成绩是95分，那么，该生肯定是退步了，需要找找退步的原因，是不是早恋了。

设备运行参数预测

INDASS提供的设备运行参数预测，准确来说，是“设备连续运行主要参数预测”。预测是一个比较复杂的事情，怎么去保证预测的准确性是个大问题。为了解决这个问题，我们根据预测的准确性，把预测分成不同的区间：10分钟、30分钟、1小时、3小时、6小时和24小时。这是因为在这个预测期间里面，预测的可信度基本一致。

INDASS的预测是非常有用的。比如，某个参数在30分钟区间的预测值超过了该参数的安全阈值，那么，就相当于我们为设备赢得了30分钟处理问题的时间，至少赢得了人员疏散撤离的时间。

需要说明的是，INDASS只是单纯的参数预测，而无法提供这些参数的变化，到底是不是正常，是不是会出现或者引发别的问题。

稳定性计算

INDASS提供的稳定性计算，实际上是设备主要参数的稳定性，也就是这些数据的离散程度计算。比如，柴油发动机的动力负载，如果一直保持在某个数值左右，变化幅度不大，那么就说明这个参数是稳定的；相反，如果这个数值忽高忽低，那么就是这个参数不稳定，变化无常。

但是，这些都是参数的离散程度，并不能说明整个设备的稳定性状况。

我们先确定一个假设：

如果一个设备有180个参数，每个参数的数据变化的幅度都很小，也就是说每个数据都很稳定。那么，这个设备运行一定是稳定的；反之，如果一个设备运行不稳定，那么，这些参数中，至少其中有一个（或者多个）数据是不稳定的。

这是一个重要的逻辑推理： 若A则B 那么 非B则非A。

然而，一台设备的运行参数之间是关联的，有时一个参数变化，而另一个参数也在同时变化的时候，并不能说明这个设备不稳定；或者说，当两个或者多个参数同时小幅度变化时，也有可能导致设备的不稳定。

刚才说了，尽管我们计算出来指数、趋势和稳定性，其实并不能说明这个计算结果代表了设备运行是什么状况，也不能说明设备这样下去会是什么结果。原因就是这些数据之间的关联关系非常复杂；这些数据以及数据的变化，对整个设备系统的影响面会是多大，也非常复杂。

这就是我们为什么需要引入智物联Mixlinker人工智能机器人服务系统 MAIRS（Mixlinker Artificial Intelligence Service）去做深度学习，并获得新的分析结果。

　　BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

excel中有很多功能用起来方便，快捷，特别是当数据多的时候，你还在一个个的进行操作吗？ 下面带着大家来学习数据的数字排序，文字排序，筛选，高级筛选。

排序：

单列排序

光标定于列中--数据菜单下--排序与筛选--升序和降序按钮，完成按照当前列的排序。

2.多列排序

光标定于数据区域中或选择要排序的记录--数据菜单下--排序与筛选--“排序”按钮--弹出对话框：设定条件与方式----添加条件----确定。

3.自定义排序：在进行排序时，针对于文本可以进行笔画，拼音和自定义排序。

1、数字排序

2、文字排序

筛选：

自动：光标定于数据区域中或选择要筛选的记录--数据菜单下--排序与筛选--“筛选”按钮--此时发现标题行出现下拉三角符号，根据条件进行筛选

高级：先把条件打出来放在一边，直接点击高级，设置条件区域，注意题中的年龄设置，以及符号的设置（小写）

3、自动筛选

4、高级筛选

今天的分享就到这里，明天接着给大家更新更精彩的内容。全都是手码，希望大家能够多多支持，欢迎关注转发，谢谢大家！！

数据收集

数据收集是进行安全评价最关键的基础工作。所收集的数据要以满足安全评价需要为前提。由于相关数据可能分别掌握在管理部门（设备、安全、卫生、消防、人事、劳动工资、财务等）、检测部门（质量科、技术科）以及生产车间，因此，数据收集时要做好协调工作。尽量使收集到的数据全面、客观、具体、准确。

数据范围

收集数据的范围以已确定的评价边界为限，兼顾与评价项目相联系的接口。如：对改造项目进行评价时，动力系统不属改造范围，但动力系统的变化会导致所评价系统的变化，因此，数据收集应该将动力系统的数据包括在内。

数据内容

安全评价要求提供的数据内容一般分为：人力与管理数据、设备与设施数据、物料与材料数据、方法与工艺数据、环境与场所数据。

数据来源

被评价单位提供的设计文件(可行性研究报告或初步设计)、生产系统实际运行状况和管理文件等；

其它法定单位测量、检测、检验、鉴定、检定、判定或评价的结果或结论等；

评价机构或其委托检测单位，通过对被评价项目或可类比项目实地检查、检测、检验得到的相关数据，以及通过调查、取证得到的安全技术和管理数据。

相关的法律法规、相关的标准规范、相关的事故案例、相关的材料或物性数据、相关的救援知识，

数据的真实性和有效性控制

对收集到的安全评价资料数据，应关注以下几个方面：

收集的资料数据，要对其真实性和可信度进行评估，必要时可要求资料提供方书面说明资料来源；

对用作类比推理的资料要注意类比双方的相关程度和资料获得的条件；

代表性不强的资料（未按随机原则获取的资料）不能用于评价；

安全评价引用反映现状的资料必须在数据有效期限内。

数据汇总及数理统计

通过现场检查、检测、检验及访问，得到大量数据资料，首先应将数据资料分类汇总，再对数据进行处理，保证其真实性、有效性和代表性，必要时可进行复测，经数理统计将数据整理成可以与相关标准比对的格式，采用能说明实际问题的评价方法，得出评价结果。

数据分类

定性检查结果，如：符合、不符合、无此项或文字说明等；

定量检测结果，如：20mg/m3、30mA、88dB(A)、0.8MPa等，带量纲的数据；

汇总数据，如：起重机械30台/套，职工安全培训率89%等，计数或比例数据；

检查记录，如：易燃易爆物品储量12t、防爆电器合格证编号等；

照片、录像，如：法兰间采用四氟乙烯垫片、反应釜设有防爆片和安全阀、将器具放入冲压机光电感应器生效联锁切断电源等用录像记录安全装置试验结果，效果更好，特别是制作评价报告电子版本时，图像数据更为直观。

其它数据类型，如：连续波形对比数据、数据分布、线性回归、控制图等，图表数据。

数据结构（格式）

汇总类，如：厂内车辆取证情况汇总、特种作业人员取证汇总；

检查表类，如：安全色与安全标志检查表；

定量数据消除量纲加权变成指数进行分级评价，如：有毒作业分级；

定性数据通过因子加权赋值变成指数进行分级评价，如：机械工厂安全评价；

引用类，如：引用其它法定检测机构“专项检测、检验”的数据；

其它数据格式,如：集合、关系、函数、矩阵、树（林、二叉树）、图（有向图、串）、形式语言（群、环）、偏集和格、逻辑表达式、卡诺图等。

数据处理

在安全检测检验中，通常用随机抽取的样本来推断总体。为了使样本的性质充分反映总体的性质，在样本的选取上遵循随机化原则：

样本各个体选取要具有代表性，不得任意删留；

样本各个体选取必须是独立的，各次选取的结果互不影响。

对获得的数据在使用之前，要进行数据处理，消除或减弱不正常数据对检测结果的影响。若采用了无效或无代表性的数据，会造成检查、检测结果错误，得出不符合实际情况的评价结论。

概率

随机事件在若干次观测中出现的次数叫频数，频数与总观测次数之比叫频率。当检测次数逐渐增多时，某一检测数据出现的频率总是趋近某一常数，此常数能表示现场出现此检测数据的可能性，这就是概率。在概率论中，把事件发生可能性的数称为概率。在实际工作中，我们常以频率近似地代替概率。

显著性差异

概率在0至1的范围内波动。当概率为1时，此事件必然发生；当概率为0时，此事件必然不发生。数理统计中习惯上认为概率P≤0.05为小概率，并以此作为事物间差别有无显著性的界限。

原设定的系统，若系统之间无显著性差异（通过显著性检验确定），就可将其合并，采用相同的安全技术措施；若系统之间存在显著性差异，就应分别对待。

数据整理和加工有三种基本形式

按一定要求将原始数据进行分组，作出各种统计表及统计图；

将原始数据由小到大顺序排列，从而由原始数列得到递增数列；

按照统计推断的要求将原始数据归纳为一个或几个数字特征。

“异常值”和“未检出”的处理

“异常值”的处理

异常值是指现场检测或实验室分析结果中偏离其它数据很远的个别极端值，极端值的存在导致数据分布范围拉宽。当发现极端值与实际情况明显不符时，首先要在检测条件中直接查找可能造成干扰的因素，以便使极端值的存在得到解释，并加以修正。

若发现极端值属外来影响造成则应舍去。

若查不出产生极端值的原因时，应对极端值进行判定再决定取舍。

对极端值有许多处理方法。在这里介绍一种“Q值检验法”。

“Q值检验法”是迪克森（W.J.Dixon）在1951年专为分析化学中少量观测次数(n＜10)提出的一种简易判据式。检验时将数据从小到大依次排列：X1，X2，X3，……，Xn-1，Xn，然后将极端值代入以下公式求出Q值，将Q值对照表1-6的Q0.90,若Q值≥Q0.90则有90%的置信此极端值应被舍去。

例:现场仪器测在同一点上4次测出:0.1014，0.1012，0.1025，0.1016，其中0.1025与其它数值差距较大，是否应该舍去？

根据“Q值检验法”：

Xn － Xn-1 0.1025－0.1016

Q＝—————＝—————————＝0.69＜0.76　(4次观测的Q0.90＝0.76)

Xn － X1 0.1025－0.1012

所以: 0.1025不能舍弃,测出结果应用4次观测均值0.1017

“未检出”的处理

在检测上，有时因采样设备和分析方法不够精密，会出现一些小于分析方法“检出限”的数据，在报告中称为“未检出”。这些“未检出”并不是真正的零值，而是处于“零值”与“检出限”之间的值，用“0”来代替不合理（可造成统计结果偏低）。“未检出”的处理在实际工作中可用两种方法进行处理：

将“未检出”按标准的1/10加入统计整理；

将“未检出”按分析方法“最低检出限”的1/2加入统计。

总之，在统计分组时不要轻易将“未检出”舍掉。

检测数据质量控制

检测质量控制经常采用两种控制方式来保证获得数据的正确性：一是用线性回归方法对原制作的“标准曲线”进行复核；二是核对精密度和准确度。

记录精密度和准确度最简便的方法是制作“休哈特控制图”，通过控制图可以看出检测、检验是否在控制之中，有利于观察正、负偏差的发展趋势，及时发现异常，找出原因，采取措施。

安全评价的数据处理

收集到的数据要经过筛选和整理，才能用于安全评价。

来源可靠：收集到的数据要经过甄别，捨去不可靠的数据。

数据完整：凡安全评价中要使用的数据都应设法收集到。

取值合理：评价过程取值带有一定主观性，取值正确与否往往影响评价结果。

为提高取值准确性可从以下三方面着手：

严格按技术守则规定取值；

有一定范围的取值，可采用内插法提高精度；

较难把握的取值，可采用向专家咨询方法，集思广益来解决。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...