数据分析是一项实践性很强的工作，涉及到很多交叉学科，需要不同的岗位和角色，来实现不同的性质的工作。

一 、数据分析师中的角色和职责

数据分析团队师应该在科技部门内部还在业务部门内部一直存在争议。在业务部门内部，对数据场景比较了解，容易找到数据变现的场景，数据分析师对业务提升帮助较大，容易出成绩。但是弊端是仅仅对自己部门的业务数据了解，分析只是局限独立的业务单元之内，在数据获取的效率上，数据维度和数据视角方面缺乏全局观，数据的商业视野不大，对公司整体业务的推动发展有限。业务部门的数据分析团队缺少数据技术能力，无法利用最新的大数据计算和分析技术，来实现数据分析和建模。数据分析和计算依赖于科技部门，效率较低，无法打通各个环节和实现效率和收益最优。

1. 数据库(仓库)管理员DBA

DBA最了解企业内部的数据和可用的数据资源，包括数据的存储细节和数据字典，另外其对数据的采集、清洗和转化起到关键作用。

DBA为数据科学家和数据分析师提供加工好的原始数据，这些数据是数据分析和建模的基础，DBA做了数据分析工作中最重要的基础工作，完成了大量的脏活和累活。

2 .业务专家

业务专家的优势是数据的商业敏感度，了解业务需求，可以将业务需求转化为数据需求，进一步找到数据应用场景。另外业务专家也可以通过对数据的分析，找到新的商业机会，同业务部门一起制定商业计划，利用数据分析推动业务增长。

业务专家的经验对于数据分析和建模是非常关键的，他们可能是风险管理人员、欺诈监测专家、投资专家等。数据建模来源于业务经验和业务知识，正是业务专家的专业分析找到了业务规律，从而找到了建模方向，并对建模工作给出建议和解释。

3. 数据科学家

过去统计分析依赖于统计分析工具，大数据时代之后，数据量级的提升和数据类型的复杂程度，让很多传统的统计分析工具无法完成分析计算。这个时候，数据科学家出现了，他们可以利用自己的专业技能帮助业务专家和数据分析人员进行建模和计算。

过去数据统计分析建模常用SPSS，SAS，MATLAB等工具，现在基于大数据平台的分析建模可以使用Spark+Scala/Python/R/Java。数据科学家了解模型和算法，可以直接承担建模和调优工作，懂得选择合适的算法来进行计算，提高效率。

4. 数据分析师

数据分析师站在数据和商业的角度来解读数据，利用图标和曲线等方式向管理层和业务人员展现分析结果，揭示数据分析产生的商业机会和挑战。

数据分析师将杂乱的数据进行整理后，将数据以不同的形式展现给产品经理、运营人员、营销人员、财务人员、业务人员等。提出基于数据的结果和分析建议，完成数据从原始到商业化应用到关键一步，数据分析师的数据敏感度、商业敏感度、分析角度、表达方式对于商业决策很重要。

5 .运营专家

数据分析结果和商业决策出来之后，运营专家负责实现商业决策。通过有计划的运营活动，将数据分析的结果应用到实际的商业活动之中，运营专家是实现数据变现最后一公里的关键人物。

运营专家属于业务人员，实际上参与业务运营活动，利用数据分析结果，实现业务场景和数据场景的结合，实现数据商业化应用。

二、 数据分析之前的各项准备工作

数据分析团队各成员确定之后，将进行下一项工作，就是找到有价值的数据进行分析了。数据是分析的基础，因此数据的质量、数据的相关度、数据的维度等会影响数据分析的结果影，其中GIGO(垃圾进垃圾出)对于数据分析结果影响最大。

1 .数据源选择

数据分析团队面对大量的数据源，各个数据源之间交叉联系，各个数据域之间具有逻辑关系，各个产品统计口径不同，不同的时间段数值不同等。这一系列问题多会影响数据分析结果，因此确定数据源选择和数据整理至关重要。

DBA可以基于数据分析需要，找到相关数据，建立一张数据宽表，将数据仓库的数据引入到这张宽表当中，基于一定的逻辑关系进行汇总计算。这张宽表作为数据分析的基础，然后再依据数据分析需要衍生出一些不同的表单，为数据分析提供干净全面的数据源。宽表一方面是用于集中相关分析数据，一方面是提高效率，不需要每次分析时都查询其他的数据表，影响数据仓库效率。

2. 数据抽样选择

简单的数据分析可以调用全体数据进行分析，数据抽样主要用于建模分析，抽样需考虑样本具有代表性，覆盖各种客户类型，抽样的时间也很重要，越近的时间窗口越有利于分析和预测。在进行分层抽样时，需要保证分成出来的样本比例同原始数据基本一致。

3 .数据类型选择

数据类型分为连续型和离散型，建模分析时需要确定数据类型。进行业务收入趋势分析、销售额预测分析、RFM分析时，一般采用连续型变量。信用评级、分类预测时一般采用离散变量。

4 .缺失值处理

数据分析过程中会面对很多缺失值，其产生原因不同，有的是由于隐私的原因，故意隐去。有的是变量本身就没有数值，有的是数据合并时不当操作产生的数据缺失。

缺失值处理可以采用替代法(估值法)，利用已知经验值代替缺失值，维持缺失值不变和删除缺失值等方法。具体方法将参考变量和自变量的关系以及样本量的多少来决定。

5. 异常值检测和处理

异常值对于某些数据分析结果影响很大，例如聚类分析、线性回归(逻辑回归)。但是对决策树、神经网络、SVM支持向量机影响较小。

一般异常值是指明显偏离观测值的平均值，例如年龄为200岁，平均收入为10万元时，有个异常值为300万元。第一个异常值为无效异常值，需要删掉，但是第二个异常值可能属于有效异常值，可以根据经验来决定是否保留或删掉。

6 .数据标准化

数据标准化的目的是将不同性质、不同量级的数据进行指数化处理，调整到可以类比的范围。例如在建立逻辑回归模型时，性别的取值是0或以，但是收入取值可能就是0-100万，跨度较大，需要进行标准化。

一般可以采用最佳/最大标准化(Min-Max标准化法)将数值定在0和1之间，便于计算。Z分数法和小数定标标准化法也可以采用。

7 .数据粗分类(Categorization)处理

归类和分类的目的是减少样本的变量，常有的方法由等间距分类，等频数分类。可以依据经验将自变量分成几类，分类的方法可以不同，建议采用卡方检验来决定采用哪种分类方法。连续型变量可以用WOE变化方法来简化模型，但降低了模型的可解释性。

8 .变量选择

数据分析过程中会面对成百上千的变量，一般情况下只有少数变量同目标变量有关，有助于提高预测精度。通常建模分析时，有意义的变量不会超过10-15个，称他们为强相关变量(聪明变量)。可以利用变量过滤器的方法来选择变量。常见的变量过滤器应用场景如下。

一般IV值大于0.3代表变量的预测力较强，可以采用。

三 、数据分析过程

1. 向业务部门进行调研，了解业务需要解决的问题，将业务问题映射成数据分析工作和任务。

2.调研企业内外部数据，找到分析需要的数据，将数据汇聚到一个特定的区域，数据集市或数据仓库，探索性分析

3.数据清洗，包括检查数据的一致性，处理异常值和缺失值，删除重复数据等

4.数据转换，例如数据分箱(Binning)，将字符型变量转化为数字型变量，按照数据所需维度进行汇总

5.建立模型，按照业务需求建立不同模型(例如客户流失预警、欺诈检测、购物篮分析、营销响应等)

6.模型结果解释和评估，业务专家进行业务解释和结果评价

四 、大数据分析场景和模型应用

数据分析建模需要先明确业务需求，然后选择是描述型分析还是预测型分析。如果分析的目的是描述客户行为模式，就采用描述型数据分析，描述型分析就考虑关联规则、序列规则、聚类等模型。

预测型数据分析就是量化未来一段时间内，某个事件的发生概率。有两大预测分析模型，分类预测和回归预测。常见的分类预测模型中，目标变量通常都是二元分类变量例如欺诈与否，流失与否，信用好坏等。回归预测模型中，目标变量通常都是连续型变量，常见的有股票价格预测、违约损失率预测(LGD)等。

生存分析聚焦于将事件的结果和出现这一结果所经历的时间进行分析，源于医疗领域，研究患者治疗后的存活时间。生存分析可也可以用于预测客户流失时间，客户下次购买时间，客户违约时间，客户提前偿还贷款时间，客户下次访问网站时间等。

常见的数据分析应用场景如下：

1 .市场营销

营销响应分析建模(逻辑回归，决策树)

净提升度分析建模(关联规则)

客户保有分析建模(卡普兰梅尔分析，神经网络)

购物蓝分析(关联分析Apriori)

自动推荐系统(协同过滤推荐，基于内容推荐，基于人口统计推荐，基于知识推荐，组合推荐，关联规则)

客户细分(聚类)

流失预测(逻辑回归)

2 .风险管理

客户信用风险评分(SVM，决策树，神经网络)

市场风险评分建模(逻辑回归和决策树)

运营风险评分建模(SVM)

欺诈检测(决策树，聚类，社交网络)

五、数据模型评价的方法

1AUC值判别法

AUC小于0.7识别能力很弱

AUC在0.7-0.8之间识别能力可接受

AUC在0.8-0.9之间识别能力卓越

AUC大于0.9模型出现意外

2KS判别法

KS值大于0.2就表示具有较好的可预测性

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店等行业的电子渠道大数据运营，为客户提供全球领先的电子渠道转型咨询、大数据挖掘和应用定制服务，助力客户互联网转型，提升数字化运营和数据营销能力。

数据收集

数据收集是进行安全评价最关键的基础工作。所收集的数据要以满足安全评价需要为前提。由于相关数据可能分别掌握在管理部门（设备、安全、卫生、消防、人事、劳动工资、财务等）、检测部门（质量科、技术科）以及生产车间，因此，数据收集时要做好协调工作。尽量使收集到的数据全面、客观、具体、准确。

数据范围

收集数据的范围以已确定的评价边界为限，兼顾与评价项目相联系的接口。如：对改造项目进行评价时，动力系统不属改造范围，但动力系统的变化会导致所评价系统的变化，因此，数据收集应该将动力系统的数据包括在内。

数据内容

安全评价要求提供的数据内容一般分为：人力与管理数据、设备与设施数据、物料与材料数据、方法与工艺数据、环境与场所数据。

数据来源

被评价单位提供的设计文件(可行性研究报告或初步设计)、生产系统实际运行状况和管理文件等；

其它法定单位测量、检测、检验、鉴定、检定、判定或评价的结果或结论等；

评价机构或其委托检测单位，通过对被评价项目或可类比项目实地检查、检测、检验得到的相关数据，以及通过调查、取证得到的安全技术和管理数据。

相关的法律法规、相关的标准规范、相关的事故案例、相关的材料或物性数据、相关的救援知识，

数据的真实性和有效性控制

对收集到的安全评价资料数据，应关注以下几个方面：

收集的资料数据，要对其真实性和可信度进行评估，必要时可要求资料提供方书面说明资料来源；

对用作类比推理的资料要注意类比双方的相关程度和资料获得的条件；

代表性不强的资料（未按随机原则获取的资料）不能用于评价；

安全评价引用反映现状的资料必须在数据有效期限内。

数据汇总及数理统计

通过现场检查、检测、检验及访问，得到大量数据资料，首先应将数据资料分类汇总，再对数据进行处理，保证其真实性、有效性和代表性，必要时可进行复测，经数理统计将数据整理成可以与相关标准比对的格式，采用能说明实际问题的评价方法，得出评价结果。

数据分类

定性检查结果，如：符合、不符合、无此项或文字说明等；

定量检测结果，如：20mg/m3、30mA、88dB(A)、0.8MPa等，带量纲的数据；

汇总数据，如：起重机械30台/套，职工安全培训率89%等，计数或比例数据；

检查记录，如：易燃易爆物品储量12t、防爆电器合格证编号等；

照片、录像，如：法兰间采用四氟乙烯垫片、反应釜设有防爆片和安全阀、将器具放入冲压机光电感应器生效联锁切断电源等用录像记录安全装置试验结果，效果更好，特别是制作评价报告电子版本时，图像数据更为直观。

其它数据类型，如：连续波形对比数据、数据分布、线性回归、控制图等，图表数据。

数据结构（格式）

汇总类，如：厂内车辆取证情况汇总、特种作业人员取证汇总；

检查表类，如：安全色与安全标志检查表；

定量数据消除量纲加权变成指数进行分级评价，如：有毒作业分级；

定性数据通过因子加权赋值变成指数进行分级评价，如：机械工厂安全评价；

引用类，如：引用其它法定检测机构“专项检测、检验”的数据；

其它数据格式,如：集合、关系、函数、矩阵、树（林、二叉树）、图（有向图、串）、形式语言（群、环）、偏集和格、逻辑表达式、卡诺图等。

数据处理

在安全检测检验中，通常用随机抽取的样本来推断总体。为了使样本的性质充分反映总体的性质，在样本的选取上遵循随机化原则：

样本各个体选取要具有代表性，不得任意删留；

样本各个体选取必须是独立的，各次选取的结果互不影响。

对获得的数据在使用之前，要进行数据处理，消除或减弱不正常数据对检测结果的影响。若采用了无效或无代表性的数据，会造成检查、检测结果错误，得出不符合实际情况的评价结论。

概率

随机事件在若干次观测中出现的次数叫频数，频数与总观测次数之比叫频率。当检测次数逐渐增多时，某一检测数据出现的频率总是趋近某一常数，此常数能表示现场出现此检测数据的可能性，这就是概率。在概率论中，把事件发生可能性的数称为概率。在实际工作中，我们常以频率近似地代替概率。

显著性差异

概率在0至1的范围内波动。当概率为1时，此事件必然发生；当概率为0时，此事件必然不发生。数理统计中习惯上认为概率P≤0.05为小概率，并以此作为事物间差别有无显著性的界限。

原设定的系统，若系统之间无显著性差异（通过显著性检验确定），就可将其合并，采用相同的安全技术措施；若系统之间存在显著性差异，就应分别对待。

数据整理和加工有三种基本形式

按一定要求将原始数据进行分组，作出各种统计表及统计图；

将原始数据由小到大顺序排列，从而由原始数列得到递增数列；

按照统计推断的要求将原始数据归纳为一个或几个数字特征。

“异常值”和“未检出”的处理

“异常值”的处理

异常值是指现场检测或实验室分析结果中偏离其它数据很远的个别极端值，极端值的存在导致数据分布范围拉宽。当发现极端值与实际情况明显不符时，首先要在检测条件中直接查找可能造成干扰的因素，以便使极端值的存在得到解释，并加以修正。

若发现极端值属外来影响造成则应舍去。

若查不出产生极端值的原因时，应对极端值进行判定再决定取舍。

对极端值有许多处理方法。在这里介绍一种“Q值检验法”。

“Q值检验法”是迪克森（W.J.Dixon）在1951年专为分析化学中少量观测次数(n＜10)提出的一种简易判据式。检验时将数据从小到大依次排列：X1，X2，X3，……，Xn-1，Xn，然后将极端值代入以下公式求出Q值，将Q值对照表1-6的Q0.90,若Q值≥Q0.90则有90%的置信此极端值应被舍去。

例:现场仪器测在同一点上4次测出:0.1014，0.1012，0.1025，0.1016，其中0.1025与其它数值差距较大，是否应该舍去？

根据“Q值检验法”：

Xn － Xn-1 0.1025－0.1016

Q＝—————＝—————————＝0.69＜0.76　(4次观测的Q0.90＝0.76)

Xn － X1 0.1025－0.1012

所以: 0.1025不能舍弃,测出结果应用4次观测均值0.1017

“未检出”的处理

在检测上，有时因采样设备和分析方法不够精密，会出现一些小于分析方法“检出限”的数据，在报告中称为“未检出”。这些“未检出”并不是真正的零值，而是处于“零值”与“检出限”之间的值，用“0”来代替不合理（可造成统计结果偏低）。“未检出”的处理在实际工作中可用两种方法进行处理：

将“未检出”按标准的1/10加入统计整理；

将“未检出”按分析方法“最低检出限”的1/2加入统计。

总之，在统计分组时不要轻易将“未检出”舍掉。

检测数据质量控制

检测质量控制经常采用两种控制方式来保证获得数据的正确性：一是用线性回归方法对原制作的“标准曲线”进行复核；二是核对精密度和准确度。

记录精密度和准确度最简便的方法是制作“休哈特控制图”，通过控制图可以看出检测、检验是否在控制之中，有利于观察正、负偏差的发展趋势，及时发现异常，找出原因，采取措施。

安全评价的数据处理

收集到的数据要经过筛选和整理，才能用于安全评价。

来源可靠：收集到的数据要经过甄别，捨去不可靠的数据。

数据完整：凡安全评价中要使用的数据都应设法收集到。

取值合理：评价过程取值带有一定主观性，取值正确与否往往影响评价结果。

为提高取值准确性可从以下三方面着手：

严格按技术守则规定取值；

有一定范围的取值，可采用内插法提高精度；

较难把握的取值，可采用向专家咨询方法，集思广益来解决。

对于具体的业务场景问题，我们该怎么办呢?我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1 数字和趋势

看数字、看趋势是最基础展示数据信息的方式。

在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。

上图中，我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard)，并且实时更新。

这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2 维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。

在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。

3 用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群(segmentation )的手段。

我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。

而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。

上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。

这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4 转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。

漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。

通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。　　其中，我们往往关注三个要点：　第一，从开始到结尾，整体的转化效率是多少?　　第二，每一步的转化率是多少?　　第三，哪一步流失最多，原因在什么地方?流失的用户符合哪些特征?

上图中注册流程分为 3 个步骤，总体转化率为45.5%;

也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。

但是我们不难发现第二步的转化率是 56.8% ，显着低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。

显而易见第二步的提升空间是最大的，投入回报比肯定不低;如果要提高注册转化率，我们应该优先解决第二步。

5 行为轨迹

关注行为轨迹，是为了真实了解用户行为。

数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。

网站购买转化率低，以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题(比如是不是商品不匹配等等)，从而为决策提供依据。

6 留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。

每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。

我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加 5 个以上的联系人(上图红色线条)，那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。

这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7 A/B 测试

A/B 测试用来对比不同产品设计/算法对结果的影响。

产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素：

第一，有足够的时间进行测试;

第二，数据量和数据密度较高。

因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8 数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。

利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。

当然，仅仅掌握单纯的理论还远远不够，实践出真知。数据分析的方法大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

微信公众号发展至今，整体的产业已趋向成熟，市场对其运营框架也有了大致的共识，基本上可分为：内容运营、活动运营、用户运营，以及渠道运营和数据运营等几大模块。每个不同的运营模块，它们各自独立，同时又相互地影响。

本文侧重于对运营初学者来说，提供一套简易、有效的数据运营方法论。在开展数据运营工作之前，我们首先得了解数据在整个公众号运营工作中，究竟充当着什么样的角色？

我认为：“数据是运营的基础，就像一条绳索，贯穿整个运营工作。它既是运营KPI考核的直接呈现方式，同时也是运营方向的理论支撑点”

在新媒体的数据运营中，数据分析是至关重要的步骤，而数据分析有大概九类方法，你们知道吗？今天小天就来带大家了解一下这些干货吧！

数据分析的九类方法：直接评判法 — 对比分析法 — 结构分析法 — 分组分析法 — 平均分析法 — 矩阵分析法 — 漏斗图分析法 — 雷达图分析法 — 回归分析法

1.直接评判法

直接评判法即根据经验直接判断数据的好坏并给予评判，通常用于内部过往运营状况评估，如评估近期阅读量是否过低，评判近期销售量是否异常，评估当日文章推送量是否正常。

直接评判法有两个必要的条件：一是运营者有一定的新媒体运营经验，能够对跳出率，阅读量等有正确的评估；二是经过加工处理的数据足够直观，可以直接代表某项数据的优缺点。

2.对比分析法

对比分析法，是将两个或两个以上的数据进行对比，分析差异进而揭示这些数据所代表的规律。

对比分析法包括横向比较及纵向比较。横向比较即同一时间下不同总体指标的对比，如今日头条同领域作者文章阅读量对比，粉丝数对比等；纵向比较不同时间条件下同一总体指标的对比，如本月文章阅读量与上月阅读量进行对比，本月粉丝增长数与上月增长数进行对比等。

通过对比分析，可以直接观察到目前的运营水平，一方面找到当前已经处于优秀水平的方面，后续予以保持；另一方面及时发现当前的薄弱环节，重点突破。

3.分组分析法

分组分析法是指通过一定的指标，将对象统计分组并计算和分析，以便于深入了解所要分析对象的不同特征，性质及相互关系的方法。

分组分析法遵循相互独立，完全穷尽的枚举分析法原则。所谓相互独立，即分组之间不能有交叉，组别之间具有明显的差异性，每个数据只能归属于某一组；所谓完全穷尽，即分组中不要遗漏任何数据，保持完整性，各组的空间足以容纳总体的所有数据。

4.结构分析法

结构分析法是在统计分组的基础上，将组内数据与总体数据之间进行对比的分析方法。结构分析法分析各组部分占总体的比例，属于相对指标。

例如，新媒体运营团队可以统计粉丝所在的地域分布，统计出各个地方粉丝的占比情况，此情景便属于结构分析法。

5.平均分析法

例如，在分析今日头条的文章阅读量时，借助Excel导出的数据可以快速找到阅读量大于平均值的文章，接下来可以继续挖掘这些文章的标题，排版，配图等规律，便于后续内容质量的提升。

6.矩阵分析法

矩阵分析法是一种定量分析问题的方法，它是指以数据两个重要指标作为分析依据，并将这两个指标作为横，纵坐标轴，构成四个象限，从而找出解决问题的办法，为运营者提供数据参考。

例如，某餐饮企业的大众点评评价分析，可以借助四个象限“紧急且重要，重要但不紧急，紧急但不重要，不紧急也不重要”进行矩阵分析，并重点处理“紧急且重要”的事项。

7.漏斗图分析法

漏斗图分析法因展现形式如漏斗，故而得名。漏斗图可以对文章阅读量，产品购买量等情况进行逐层分析，展示整个关键路径中每步的转化情况。

重要强调的是，单一的漏斗图难以衡量各个环节的好坏，运营者可以结合本节介绍的“对比分析法”，对同一环节不同时间对比，评估运营效果。

8.雷达图分析法

雷达图常用于指数分析，即通过对新媒体账号的内容质量，领域专注等不同维度的计算而得出的客观评分结果。分数越高，代表账号的质量越好。可以利用雷达图进行分析的指数，包括今日头条指数，大鱼号星级指数，百家号指数等。

9.回归分析法

回归分析法是通过研究事物发展变化的因果关系来预测事物发展走向，它是研究变量间相互关系的一种定量预测方法，又称回归模型预测法或因果法。

例如，将今日头条粉丝数据导出到Excel表格，对累计粉丝数进行一元线性分析，就可以尝试预测某个时间的粉丝量。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

前言

近些年，随着越来越多的企业对数据价值的认识不断提升，数据分析工具得到了前所未有的关注，特别是以自助式BI为代表的分析产品。据知名调研机构Gartner预计，到2019年，使用自助式BI产品的用户将超过专业的数据分析人员。与此同时，在人工智能、机器学习等前沿技术的推动下，数据分析工具也正在向着自动化、智能化的方向发展，未来，数据价值也势必会得到更好的挖掘和体现。

近期，为了进一步了解数据分析工具在企业内部的应用情况，国内知名数据可视化分析展示厂商DataHunter联合CDA数据分析师共同开展了《数据分析工具使用现状》的在线调查活动。本报告正是以此次调查数据为基础，可在一定程度上反应出国内数据分析产品的应用现状和未来发展趋势。

样本描述

1. 参与调查人员年龄段分布

以21岁-30岁年龄段为主，占到了总人数的66.7%，30岁以上人群占比为32.9%。可以看出，从事数据分析相关工作的大都是年轻人，这也从侧面反映出数据分析仍是一个比较新兴的行业。当然，随着企业对于数据分析的需求愈发强烈，相信会有更多的年轻人加入这一领域。

2. 参与调查人员行业分布

参与调查人员的行业分布较为广泛，但主要以金融、电商、零售、教育、互联网、广告营销等行业为主。这在一定程度上也反映出，目前这些行业对于数据分析的需求最为强烈。

3. 参与调查人员职业分布

数据分析师占比最多，达到了32.5%，其他还包括运营人员、技术研发、产品经理、市场人员、财务等。从职业分布情况看，销售人员占比较小，也表明目前还有很多国内企业并未将数据分析产品应用到业务层，未来，随着数据分析与业务发展的结合愈发紧密，相信此部分人员的比重会越来越多。

报告要点

1. 近半数受访者已抛弃Excel

从调查结果看，53%的受访用户经常使用Excel作为数据分析工具，使用第三方工具或Python、R等开源工具的受访用户分别占到了26%和21%。作为微软Office系列的代表性产品之一，Excel在全球拥有广泛的用户群，虽然其可以作为数据可视化工具使用，但如果在企业级的环境中，面对海量数据的处理和分析，Excel则难以胜任。

针对大数据的处理和分析，不仅需要丰富的产品功能和响应速度，还要求数据分析产品具备较好的易用性。Python、R等开源工具虽然功能强大，但需要使用者具备一定的编程能力，使用门槛较高，而相对来说，更多的受访者会选择第三方数据分析工具。

2. 数据清洗、整理过程最占用时间

在整个数据分析过程中，有41%的受访者认为数据清洗、整理（ETL）过程占用的时间最多，其次是分析过程、整理汇报、收集数据以及数据建模。如果我们结合上一项调查结果，不难发现，这正是由于大多数受访者仍在使用Excel作为分析工具。

其实，以自助式BI为代表的新一代数据分析工具，如DataHunter，最大优势之一就是帮助业务人员和分析师简化ETL过程，系统在上传数据或对接业务系统的过程中，就完成了初步的数据整理，再通过简单的数据关联（建模过程），就可以开始进行数据分析。

3. 全维度数据钻取等分析功能需求明显

在日常工作中，有23%的受访者表示希望借助数据分析工具完成数据统计、筛选、钻取等操作，这说明，目前此部分用户所使用的分析工具并不具备这些功能。此外，也有20%的受访者希望通过数据分析工具完成整合工作。

值得注意的是，基于分析结果的分享和协作，也成为目前数据分析师的需求点之一。在此次调查中，有12%的受访者希望分析工具具备此项功能。Gartner在今年发布的《2018分析和商业智能平台魔力象限报告》中也特别强调，共享协作将成为未来商业智能产品的标配功能之一。

4. 简单、智能是未来数据分析工具的发展方向

对于未来数据分析工具应具备的特性，分别有32%的受访者认为是操作简单、人人可用以及智能分析预测。随着对数据价值认识不断提升，企业各部门、各角色都开始注重通过数据分析来进行业务决策，产品的易用性便成为使用者最为关注的产品特性之一。同时，随着人工智能、机器学习等前沿技术的不断推动，相信自动分析、预测分析也即将成为现实。

日常一提数据分析和可视化，就想到这个工具操作要多简单易用，图表要多美多炫，然而总是忽略背后的数据支撑。

excel 几十万行数据就卡死崩，谈何数据透视表、可视化？近千万行的数据，订单提交数据库，sql sever处理要5分多钟，如果频繁入库/取数的话.....

要知道，为了支撑起业务人员的数据分析，以及日常不考虑计算逻辑和技术难度，IT人员也是要花费很大的心血和精力啊（心疼运维人员n秒）。

随着公司业务的发展，数据量变大是必然的事实。那么，数据部门要做分析，业务部门要看报表，要跑数据，要用BI，大数据量（千万级及以上）的分析，性能该如何优化？

这里借某公司的真实案例，来阐述一下方案。

----------------------------------

作为公司的科技部门人员，经常听到业务部门对自己使用的数据库各种吐槽：

竟然存放在mongoDB中啊，震惊(ΩДΩ)。

数据库慢慢熟悉了还好啊，但是现在每天的数据量越来越大，而且还在增加啊，增加大家很开心，然而数据库并不开心啊，简单的查询统计10多分钟还出不来结果，更不用说有稍微复杂点的统计分析了。

我天天找DBA优化啊，然而并没有什么水花。

数据量还在不断增长，到现在都上亿啦，全量查询统计根本出不来结果啊。

... ...

最终业务人员找到科技部门提需求要弄个BI系统给处理下。

对mongodb瞄了一大通，这就是个业务库。那直接对接mongodb自然不行，速度慢不说，mongodb挂了，分析系统也瘫了。自然就想到了使用中间库，emm mysql oracle 倒是有，可以跑调度抽过来，但是速度依旧不快呢，还要花功夫优化，性价比不高。公司有自己的hadoop平台，将数据抽过来再对接倒是可以，但是要花很大精力跑调度，而且这个数据库不能随意给这个业务部门提供，万一玩挂了可就得不偿失。假设有个具备离线数据存储功能的BI工具，岂不美哉。

于是将市面上有离线数据存储功能的BI工具翻了个遍。期望找到个性能好，可以支持大数据量数据分析的BI工具。

Tableau的hyper功能看起来OK，经不起实际使用，数据量过了亿，等了好久数据抽不好，pass；

其他某BI工具有mpp离线存储，看起来很棒，还能横向扩展，不错。抱有最大期望的用，结果数据量一上亿，直接崩了，崩了，pass；

另一个BI工具去看了看，咦，数据是放在vertica里面的......

后来，找到了FineBI的分布式计算引擎方案，拿的『定制的 Alluxio』作为分布式内存存储框架，内存存储有数据安全性的担心，所以持久化层存储用了HDFS。为了数据分析嘛，自然是列式存储的。计算核心则以熟知的Spark，加上自研算法来处理的。使用熟知的zookeeper整合框架，并用于调度通信。

分布式嘛，横向扩展自然不在话下。而列式存储、并行内存计算、计算本地化加上高性能算法，在FineBI中数据展示速度超快。有意思的是其计算本地化的操作，能减少不必要的shuffle，节省数据传输的消耗，提升数据计算速度。

以下记录利用FineBI4.1工具的系统建设过程。

一、需求分析

针对以上的需求，可以预估到，18年内，常用分析预计最大数据量会达到4.7kw，不常用分析会达到3亿到4亿（包含淡季），数据总的体量最多会达到100G。后面的情况难以预估，就需要系统可横向扩展节点。

二、方案描述

1.系统架构

根据官方推荐，将FineBI的web应用端与数据存储的分布式引擎放在一个机器上（处于安全考虑，也可以分开。这里不涉及太多部门使用，放一起即可），架构如下所示。

架构图难以理解的话，可以看看灵魂画手的杰作~

结合分布式引擎说明的技术原理，将各个机器再细分化各个组件的作用。

以上，将系统架构规划完成，即可具体完成系统。

2.完成从MongoDB取数

在使用BI工具对接MongoDB的时候，使用MongoDB的BI连接器。

感兴趣可以看：MongoDB Download Center

方案原理：mongodb是非结构的数据库，而要想BI来连接，通过建模的方式取表，拆表，建模来分析。通过MONGODB CONNECTOR FOR BI连接器的方式，使用mysql的JDBC驱动来获取数据。

实现过程：

第一步：安装MONGODB CONNECTOR FOR BI

从官网选择版本：MongoDB Download Center

第二步：生成DRDL文件

mongodrdl是生成该文件的主命令。通过添加monogdb的相关参数来获取其中的表生成drdl文件。从官方文档上我们可以找到生成DRDL文件命令的范式：

1 mongodrdl --host myhost.example:27017 \2 --username dbUser \3 --password myPassword \4 --db reports \5 --authenticationDatabase admin \6 --out schema.drdl

范式说明：

--host 是mongodb的ip+端口号，通常可为127.0.0.1:27017--username 是mongodb的用户，需具备相关的数据权限--password 是username的密码--db 是要生成DRDL的数据库实例名--authenticationDatabase 是指定创建用户的数据库。即username创建时被指定到的数据库名。--out 是DRDL输出文件定义。值使用.drdl的文件即可。

第三步：启动连接器，连接上monogdb

启动连接器的主命令服务是mongosqld，由于mongodb开启用户认证了（auth=true）。从官方文档上可知，连接器的启动需要使用-auth参数，再使用auth参数的情况下，mysql驱动来取数就需要SSLl加密认证。

所以第一步需要配置mongosqld的SSL认证；才能启动连接器来取数！！！！！！！！！！这一步神坑，也是踩了多少坑，才找到的解决办法。

此处认证关系是FineBi端的mysql连接与mongosqld的连接之间的SSL认证。在认证时，只需要配置单向SSL的认证即可（mongosqld认证FineBI的连接）。

（1）生成SSL认证文件

SSL认证文件通常采用openSSL来生成，先看看是否安装了openSSL；执行命令：

rpm -qa|grep -i openssl

如安装了会返回信息，未安装需要自行安装OpenSSL。

采用以下命令来生成证书：（由于是测试，就直接自己生成证书，密钥）

openssl req -newkey rsa:2048 -new -x509 -days 365 -nodes -out mongodb-cert.crt -keyout mongodb-cert.key

命令返回会让填写一些值，在后面填写即可。

一般情况下，文件会生成到你所使用的linux用户的要根目录下：比如我用的root用户，就到/root下面查找。

再使用以下命令，将key合到.pem的文件里。

cat mongodb-cert.key mongodb-cert.crt >mongodb.pem

将该文件移动/etc/ssl下面用于验证使用：

mv mongodb.pem /etc/ssl

（2）启动连接器&SSL

再来看官方文档，从所有的参数命令里面，找一找需要的参数；得出以下的范式，在bin目录下启动即可。

mongosqld --auth --sslMode --sslPEMKeyFile --sslAllowInvalidCertificates --defaultAuthSource --mongo-uri --mongo-username --mongo-password --mongo-authenticationSource --schema

说明：

--auth 是开启用户认证的参数，默认值是true--sslMode是开启SSL的标识，如开启可以选择值为“requireSSL”--sslPEMKeyFile是SSL认证文件，一般为.pem结尾的文件；单向认证的时候。--sslAllowInvalidCertificates--defaultAuthSource是mongosqld使用username指向mongodb的有权限的库，默认值是admin--mongo-uri是mongodb的host，一般为ip+端口号--mongo-usrname是drdl生成的用户名--mongo-password是drdl生成的密码--mongo-authenticationSource指定用户的创建库--schema是要连接的drdl文件。

注：一般还是要用nohup 的命令来生成，保证shell断掉，连接器依然可用。

第四步：启动FineBI连接到连接器上

启动FineBI，打开FineBI>数据配置>数据连接：添加数据连接选择mysql，配置如下：

连接名：mongodbURL：jdbc：mysql：//127.0.0.1:3307/test?ssl-key=/etc/ssl/mongodb.pem用户名：密码：注：URL：jdbc：mysql://ip+3307/dbname?ssl-key=xx.pem，后面ssl-key是ssl参数

点击测试连接即可。

过程坑点：mongodb的BI连接器神坑，官网文档不多，踩过了几脚坑。

（1）mongosqld按ssl认证开启成功，打印也不错，但是BI连接的时候，还是抛错1043 SQLSTATE: 08S01 (ER_HANDSHAKE_ERROR):this server only allows SSL xxxxx该抛错是mysql抛出来的，握手不良的错误。按道理SSL已经开启了，不应该是这样。后来查了mysql的文档，mysql5.5以上的版本才支持SSL；更换新的driver驱动，使用的是5.1.44完全没问题的。

（2）BI连接的时候抛错 handshake error: ERROR 1043 (08S01): error performing authentication: unable to authenticate conversation 0: unable to authenticate using mechanism "SCRAM-SHA-1": (AuthenticationFailed) Authentication failed.

该抛错的意思，使用“SCRAM-SHA-1”的认证方式，没有认证成功。SCRAM-SHA-1是指用户名密码的方式，这里看是不是用户名/密码错误，注意mongosqld启动时的使用的用户名/密码

（3）一定要开启SSL认证啊！！！

（4）期间有设计器无故死掉的情况，发现是由于内存不足导致。记得空闲内存要足够！！

三.系统效果

1.数据更新

（1） 单个表先全量抽取，之后每天对单表依据时间戳，做增量增加。其中有错误数据做增量删除即可。

（2）有些内部使用的实时性较高的表，设定每2小时更新一次，从上午9点到下午6点。直接从业务库抽取其实是有风险的，当时数据库压力大，抽取比较慢，因此这部分仅作为非重点用户需求场景。

2.数据展示速度

做了一个简单的依据时间的group by，时间在1s之内，翻页速度也很快。

至此，对接mongodb完成，一个用户可以随便玩的系统就好了。即使偶尔mongodb发疯修整，有离线数据在，也不担心业务部门来嚷嚷了。而且速度超快，体验很棒~

最后

如果你也在寻求一个高性能展示分析、数据分析的BI工具的话，不妨尝试下FineBI。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...