excel中有很多功能用起来方便，快捷，特别是当数据多的时候，你还在一个个的进行操作吗？ 下面带着大家来学习数据的数字排序，文字排序，筛选，高级筛选。

排序：

单列排序

光标定于列中--数据菜单下--排序与筛选--升序和降序按钮，完成按照当前列的排序。

2.多列排序

光标定于数据区域中或选择要排序的记录--数据菜单下--排序与筛选--“排序”按钮--弹出对话框：设定条件与方式----添加条件----确定。

3.自定义排序：在进行排序时，针对于文本可以进行笔画，拼音和自定义排序。

1、数字排序

2、文字排序

筛选：

自动：光标定于数据区域中或选择要筛选的记录--数据菜单下--排序与筛选--“筛选”按钮--此时发现标题行出现下拉三角符号，根据条件进行筛选

高级：先把条件打出来放在一边，直接点击高级，设置条件区域，注意题中的年龄设置，以及符号的设置（小写）

3、自动筛选

4、高级筛选

今天的分享就到这里，明天接着给大家更新更精彩的内容。全都是手码，希望大家能够多多支持，欢迎关注转发，谢谢大家！！

我觉得无论什么工作兴趣最重要，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他会觉得不耐烦，那么显然他不适合做数据分析;如果对数据较敏感，能够一眼发现异常值，数据分布情况，当然是最好的。

再则就是逻辑性，可以让他试试爱因斯坦的那道经典的逻辑题，看看能否解出来，需要多久;逻辑思维对数据分析尤其重要，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加高效。

接着是业务理解能力，最简单的就是让他定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。(宏观层面，不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

——谷芬芬

专业内的要求基本就是对数据的意识和一些技能的掌握。下面具体说说从一些非专业内要求的方面出发，有哪些方面能表现这个人更适合数据分析。

首先是看到数据有兴奋感的人。有兴奋感说明你有兴趣，那说明很会有意愿把数据分析好。

其次是愿意学习的人。你分析的内容永远不会一尘不变，即使你分析的主题是相对固定，但业务是变化的，你需要不断的学习业务，同不同人沟通，吸收别人的观点。所以分析师一定要报着学习的态度。

然后是逻辑思维较强的人。数据分析师想要把你的分析好，一定要有结论思维。

还有就是较强的表达与沟通能力。因为数据分析最终价值的实现，一般来说不会是分析师亲自去制定或者实施。所以你一定很有条理、逻辑清晰向别人表达，让业务方认识到你分析结果的价值，从而影响业务方去愿意使用你从数据中得到的观点。

——欧阳帅

觉得还是应该先看清楚自己的未来的方向吧~

我有不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向，数据相关，非技术路线，更偏向于市场方向，对技术的要求只是Excel、PPT，最多要求SPSS，很少要求会写SQL。这条路线看起来比较高大上，可以走外企路线。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。中间有2个分叉，一条是从数据分析师到数据产品经理，这个路线最近很流行，主要是结合了数据分析和产品经理的能力。一条是高大上一点的数据挖掘方向，这条路线要求比较高，但薪资也高。当然能走数据挖掘路线是很多数据分析师的梦想，但算法和代码实现能力不是谁都能掌握的。.

根据你自己想走的路，加上自己的技能点。

——张锦华

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

数据收集

数据收集是进行安全评价最关键的基础工作。所收集的数据要以满足安全评价需要为前提。由于相关数据可能分别掌握在管理部门（设备、安全、卫生、消防、人事、劳动工资、财务等）、检测部门（质量科、技术科）以及生产车间，因此，数据收集时要做好协调工作。尽量使收集到的数据全面、客观、具体、准确。

数据范围

收集数据的范围以已确定的评价边界为限，兼顾与评价项目相联系的接口。如：对改造项目进行评价时，动力系统不属改造范围，但动力系统的变化会导致所评价系统的变化，因此，数据收集应该将动力系统的数据包括在内。

数据内容

安全评价要求提供的数据内容一般分为：人力与管理数据、设备与设施数据、物料与材料数据、方法与工艺数据、环境与场所数据。

数据来源

被评价单位提供的设计文件(可行性研究报告或初步设计)、生产系统实际运行状况和管理文件等；

其它法定单位测量、检测、检验、鉴定、检定、判定或评价的结果或结论等；

评价机构或其委托检测单位，通过对被评价项目或可类比项目实地检查、检测、检验得到的相关数据，以及通过调查、取证得到的安全技术和管理数据。

相关的法律法规、相关的标准规范、相关的事故案例、相关的材料或物性数据、相关的救援知识，

数据的真实性和有效性控制

对收集到的安全评价资料数据，应关注以下几个方面：

收集的资料数据，要对其真实性和可信度进行评估，必要时可要求资料提供方书面说明资料来源；

对用作类比推理的资料要注意类比双方的相关程度和资料获得的条件；

代表性不强的资料（未按随机原则获取的资料）不能用于评价；

安全评价引用反映现状的资料必须在数据有效期限内。

数据汇总及数理统计

通过现场检查、检测、检验及访问，得到大量数据资料，首先应将数据资料分类汇总，再对数据进行处理，保证其真实性、有效性和代表性，必要时可进行复测，经数理统计将数据整理成可以与相关标准比对的格式，采用能说明实际问题的评价方法，得出评价结果。

数据分类

定性检查结果，如：符合、不符合、无此项或文字说明等；

定量检测结果，如：20mg/m3、30mA、88dB(A)、0.8MPa等，带量纲的数据；

汇总数据，如：起重机械30台/套，职工安全培训率89%等，计数或比例数据；

检查记录，如：易燃易爆物品储量12t、防爆电器合格证编号等；

照片、录像，如：法兰间采用四氟乙烯垫片、反应釜设有防爆片和安全阀、将器具放入冲压机光电感应器生效联锁切断电源等用录像记录安全装置试验结果，效果更好，特别是制作评价报告电子版本时，图像数据更为直观。

其它数据类型，如：连续波形对比数据、数据分布、线性回归、控制图等，图表数据。

数据结构（格式）

汇总类，如：厂内车辆取证情况汇总、特种作业人员取证汇总；

检查表类，如：安全色与安全标志检查表；

定量数据消除量纲加权变成指数进行分级评价，如：有毒作业分级；

定性数据通过因子加权赋值变成指数进行分级评价，如：机械工厂安全评价；

引用类，如：引用其它法定检测机构“专项检测、检验”的数据；

其它数据格式,如：集合、关系、函数、矩阵、树（林、二叉树）、图（有向图、串）、形式语言（群、环）、偏集和格、逻辑表达式、卡诺图等。

数据处理

在安全检测检验中，通常用随机抽取的样本来推断总体。为了使样本的性质充分反映总体的性质，在样本的选取上遵循随机化原则：

样本各个体选取要具有代表性，不得任意删留；

样本各个体选取必须是独立的，各次选取的结果互不影响。

对获得的数据在使用之前，要进行数据处理，消除或减弱不正常数据对检测结果的影响。若采用了无效或无代表性的数据，会造成检查、检测结果错误，得出不符合实际情况的评价结论。

概率

随机事件在若干次观测中出现的次数叫频数，频数与总观测次数之比叫频率。当检测次数逐渐增多时，某一检测数据出现的频率总是趋近某一常数，此常数能表示现场出现此检测数据的可能性，这就是概率。在概率论中，把事件发生可能性的数称为概率。在实际工作中，我们常以频率近似地代替概率。

显著性差异

概率在0至1的范围内波动。当概率为1时，此事件必然发生；当概率为0时，此事件必然不发生。数理统计中习惯上认为概率P≤0.05为小概率，并以此作为事物间差别有无显著性的界限。

原设定的系统，若系统之间无显著性差异（通过显著性检验确定），就可将其合并，采用相同的安全技术措施；若系统之间存在显著性差异，就应分别对待。

数据整理和加工有三种基本形式

按一定要求将原始数据进行分组，作出各种统计表及统计图；

将原始数据由小到大顺序排列，从而由原始数列得到递增数列；

按照统计推断的要求将原始数据归纳为一个或几个数字特征。

“异常值”和“未检出”的处理

“异常值”的处理

异常值是指现场检测或实验室分析结果中偏离其它数据很远的个别极端值，极端值的存在导致数据分布范围拉宽。当发现极端值与实际情况明显不符时，首先要在检测条件中直接查找可能造成干扰的因素，以便使极端值的存在得到解释，并加以修正。

若发现极端值属外来影响造成则应舍去。

若查不出产生极端值的原因时，应对极端值进行判定再决定取舍。

对极端值有许多处理方法。在这里介绍一种“Q值检验法”。

“Q值检验法”是迪克森（W.J.Dixon）在1951年专为分析化学中少量观测次数(n＜10)提出的一种简易判据式。检验时将数据从小到大依次排列：X1，X2，X3，……，Xn-1，Xn，然后将极端值代入以下公式求出Q值，将Q值对照表1-6的Q0.90,若Q值≥Q0.90则有90%的置信此极端值应被舍去。

例:现场仪器测在同一点上4次测出:0.1014，0.1012，0.1025，0.1016，其中0.1025与其它数值差距较大，是否应该舍去？

根据“Q值检验法”：

Xn － Xn-1 0.1025－0.1016

Q＝—————＝—————————＝0.69＜0.76　(4次观测的Q0.90＝0.76)

Xn － X1 0.1025－0.1012

所以: 0.1025不能舍弃,测出结果应用4次观测均值0.1017

“未检出”的处理

在检测上，有时因采样设备和分析方法不够精密，会出现一些小于分析方法“检出限”的数据，在报告中称为“未检出”。这些“未检出”并不是真正的零值，而是处于“零值”与“检出限”之间的值，用“0”来代替不合理（可造成统计结果偏低）。“未检出”的处理在实际工作中可用两种方法进行处理：

将“未检出”按标准的1/10加入统计整理；

将“未检出”按分析方法“最低检出限”的1/2加入统计。

总之，在统计分组时不要轻易将“未检出”舍掉。

检测数据质量控制

检测质量控制经常采用两种控制方式来保证获得数据的正确性：一是用线性回归方法对原制作的“标准曲线”进行复核；二是核对精密度和准确度。

记录精密度和准确度最简便的方法是制作“休哈特控制图”，通过控制图可以看出检测、检验是否在控制之中，有利于观察正、负偏差的发展趋势，及时发现异常，找出原因，采取措施。

安全评价的数据处理

收集到的数据要经过筛选和整理，才能用于安全评价。

来源可靠：收集到的数据要经过甄别，捨去不可靠的数据。

数据完整：凡安全评价中要使用的数据都应设法收集到。

取值合理：评价过程取值带有一定主观性，取值正确与否往往影响评价结果。

为提高取值准确性可从以下三方面着手：

严格按技术守则规定取值；

有一定范围的取值，可采用内插法提高精度；

较难把握的取值，可采用向专家咨询方法，集思广益来解决。

又到一年年终汇报时，相信大家都在回顾2017，展望2018。这其中少不了一些年度汇报。针对年度汇报，我们都希望呈现出自己工作业绩完美的一面，形成一个个内容充实，视觉可观的报告，像这样：

视觉效果很不错，会给你的成绩汇报加分。

而形成这样的报告，其前提是要对你的业务数据进行分析，而分析的第一步，你是什么做的呢？

比如看看下面的一个简单例子：每个省/市有代码，现在系统通过代码来获取省/市的名称

公式：=VLOOKUP(D2,A:B,2,0)

从公式上看，没有问题，但是就是得不到所期望的结果，为什么呢？

俗语说：你看到的，未比就是你想象中那样，正确的。

现在看到的表格中，要查代码是11的省市，而11即可以作为文本，又可以作为数字，所以要采用Vlookup核查的时候，需要明确其类型是一致，故：数据处理的第一步的时候，你要明确你的数据类型，是文本，还是数值，或者还是其他？

那针对上述问题，我们校验一下：

公式1：ISTEXT(A2) 结果为False

公式2：ISTEXT(D2) 结果为True

很明显，数据类型不一致，结果很显然，对不了

那如何处理呢？

常规方法：采用数据分列的模式，让数值变为文本

再往下看：依旧是这个例子

首先公式没有问题，其次代码层面也检查了，都是文本类型了，但是为什么还是错呢？

还是那句俗语：你看到的，未比就是你想象中那样，正确的。

那要如何处理呢，请往下看

公式1：LEN(A2) 结果为3

公式2：LEN(D2) 结果为2

很明显，虽然都是文本，但是长度不一样，那基本可以判定，里面肯定含有空格，针对这种空格，显然不是我什么所需的，那此时可以通过

通过公式：=SUBSTITUTE(A2," ","") 进行处理

将空格替换为了空（""）

这样就可以完美的解决了。

除了SUBSTITUTE函数，Trim函数也可以就可以处理。如下：

那整理下：SUBSTITUTE与Trim的区别

两者本质上都是将空格去掉，前者是采用替换的方式，凡是遇到空格，全部替换为空；但是后者在执行的时候，不是全部替换，而是有选择性的替换（主要在英文方面使用，比如My name is Pangsiji，很明显，英文词之间的空格就是不需要替换的）

所以在处理数据时，需要清除你的数据时中文还是英文，然后在考虑用SUBSTITUTE或Trim

再往下看，我们经常会从ERP系统里面到出数据，然后进行加工处理，此时有一些数字看着是一样，也都是文本，长度也一致，但是就是不对，如下：

为什么呢？

因为数据从外部获取，这些数据中，由于计算机的处理，会存在一些非打印字符（是什么可以暂时不考虑），由于你看不到，同时也满足了相应的文本条件和字符串长度条件，导致结果出错，所以你需要处理这些非打印字符。

处理方式，用CLEAN函数，将非打印字符去掉即可

说道这里，你以为完了？No，No，No……

还有一种，比较变态，胖斯基也经常遇到，就是全角和半角符号输入的内容（这里主要说的是空格）

在上文中采用SUBSTITUTE(A2," ","")进行了空格的替换，一般情况下，基本都能解决。但是有时候，你分列变为文本，Clean处理了非打印字符，TRIM和SUBSTITUTE处理了空格，依旧不对，此时你需要考虑下这个空格是不是全角空格（尤其是从系统里面输出的数据），这里，你可以在你的SUBSTITUTE(A2," ","")公式中，空格的地方，输入全角符号的空格，怎么输入？切换你的输入法

So，说了这么多，胖斯基是想告诉你，当你在进行数据分析处理的时候，第1步要做：

1. 明确原始数据的类型，是文本还是数值；

2. 明确文本类型的数值情况下，采用采用Clean将非打印字符去掉，也可以采用Trim和Substitue函数将空格去掉（注意用法区别）

3. 如果还不行，你就要考虑考虑是不是有全角符号在里面输入（这个最为常见也最为变态）

这样，数据处理时才能提高你的效率！

加油吧，少年！

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

　　BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!

0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

微信公众号发展至今，整体的产业已趋向成熟，市场对其运营框架也有了大致的共识，基本上可分为：内容运营、活动运营、用户运营，以及渠道运营和数据运营等几大模块。每个不同的运营模块，它们各自独立，同时又相互地影响。

本文侧重于对运营初学者来说，提供一套简易、有效的数据运营方法论。在开展数据运营工作之前，我们首先得了解数据在整个公众号运营工作中，究竟充当着什么样的角色？

我认为：“数据是运营的基础，就像一条绳索，贯穿整个运营工作。它既是运营KPI考核的直接呈现方式，同时也是运营方向的理论支撑点”

在新媒体的数据运营中，数据分析是至关重要的步骤，而数据分析有大概九类方法，你们知道吗？今天小天就来带大家了解一下这些干货吧！

数据分析的九类方法：直接评判法 — 对比分析法 — 结构分析法 — 分组分析法 — 平均分析法 — 矩阵分析法 — 漏斗图分析法 — 雷达图分析法 — 回归分析法

1.直接评判法

直接评判法即根据经验直接判断数据的好坏并给予评判，通常用于内部过往运营状况评估，如评估近期阅读量是否过低，评判近期销售量是否异常，评估当日文章推送量是否正常。

直接评判法有两个必要的条件：一是运营者有一定的新媒体运营经验，能够对跳出率，阅读量等有正确的评估；二是经过加工处理的数据足够直观，可以直接代表某项数据的优缺点。

2.对比分析法

对比分析法，是将两个或两个以上的数据进行对比，分析差异进而揭示这些数据所代表的规律。

对比分析法包括横向比较及纵向比较。横向比较即同一时间下不同总体指标的对比，如今日头条同领域作者文章阅读量对比，粉丝数对比等；纵向比较不同时间条件下同一总体指标的对比，如本月文章阅读量与上月阅读量进行对比，本月粉丝增长数与上月增长数进行对比等。

通过对比分析，可以直接观察到目前的运营水平，一方面找到当前已经处于优秀水平的方面，后续予以保持；另一方面及时发现当前的薄弱环节，重点突破。

3.分组分析法

分组分析法是指通过一定的指标，将对象统计分组并计算和分析，以便于深入了解所要分析对象的不同特征，性质及相互关系的方法。

分组分析法遵循相互独立，完全穷尽的枚举分析法原则。所谓相互独立，即分组之间不能有交叉，组别之间具有明显的差异性，每个数据只能归属于某一组；所谓完全穷尽，即分组中不要遗漏任何数据，保持完整性，各组的空间足以容纳总体的所有数据。

4.结构分析法

结构分析法是在统计分组的基础上，将组内数据与总体数据之间进行对比的分析方法。结构分析法分析各组部分占总体的比例，属于相对指标。

例如，新媒体运营团队可以统计粉丝所在的地域分布，统计出各个地方粉丝的占比情况，此情景便属于结构分析法。

5.平均分析法

例如，在分析今日头条的文章阅读量时，借助Excel导出的数据可以快速找到阅读量大于平均值的文章，接下来可以继续挖掘这些文章的标题，排版，配图等规律，便于后续内容质量的提升。

6.矩阵分析法

矩阵分析法是一种定量分析问题的方法，它是指以数据两个重要指标作为分析依据，并将这两个指标作为横，纵坐标轴，构成四个象限，从而找出解决问题的办法，为运营者提供数据参考。

例如，某餐饮企业的大众点评评价分析，可以借助四个象限“紧急且重要，重要但不紧急，紧急但不重要，不紧急也不重要”进行矩阵分析，并重点处理“紧急且重要”的事项。

7.漏斗图分析法

漏斗图分析法因展现形式如漏斗，故而得名。漏斗图可以对文章阅读量，产品购买量等情况进行逐层分析，展示整个关键路径中每步的转化情况。

重要强调的是，单一的漏斗图难以衡量各个环节的好坏，运营者可以结合本节介绍的“对比分析法”，对同一环节不同时间对比，评估运营效果。

8.雷达图分析法

雷达图常用于指数分析，即通过对新媒体账号的内容质量，领域专注等不同维度的计算而得出的客观评分结果。分数越高，代表账号的质量越好。可以利用雷达图进行分析的指数，包括今日头条指数，大鱼号星级指数，百家号指数等。

9.回归分析法

回归分析法是通过研究事物发展变化的因果关系来预测事物发展走向，它是研究变量间相互关系的一种定量预测方法，又称回归模型预测法或因果法。

例如，将今日头条粉丝数据导出到Excel表格，对累计粉丝数进行一元线性分析，就可以尝试预测某个时间的粉丝量。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...