又到一年年终汇报时，相信大家都在回顾2017，展望2018。这其中少不了一些年度汇报。针对年度汇报，我们都希望呈现出自己工作业绩完美的一面，形成一个个内容充实，视觉可观的报告，像这样：

视觉效果很不错，会给你的成绩汇报加分。

而形成这样的报告，其前提是要对你的业务数据进行分析，而分析的第一步，你是什么做的呢？

比如看看下面的一个简单例子：每个省/市有代码，现在系统通过代码来获取省/市的名称

公式：=VLOOKUP(D2,A:B,2,0)

从公式上看，没有问题，但是就是得不到所期望的结果，为什么呢？

俗语说：你看到的，未比就是你想象中那样，正确的。

现在看到的表格中，要查代码是11的省市，而11即可以作为文本，又可以作为数字，所以要采用Vlookup核查的时候，需要明确其类型是一致，故：数据处理的第一步的时候，你要明确你的数据类型，是文本，还是数值，或者还是其他？

那针对上述问题，我们校验一下：

公式1：ISTEXT(A2) 结果为False

公式2：ISTEXT(D2) 结果为True

很明显，数据类型不一致，结果很显然，对不了

那如何处理呢？

常规方法：采用数据分列的模式，让数值变为文本

再往下看：依旧是这个例子

首先公式没有问题，其次代码层面也检查了，都是文本类型了，但是为什么还是错呢？

还是那句俗语：你看到的，未比就是你想象中那样，正确的。

那要如何处理呢，请往下看

公式1：LEN(A2) 结果为3

公式2：LEN(D2) 结果为2

很明显，虽然都是文本，但是长度不一样，那基本可以判定，里面肯定含有空格，针对这种空格，显然不是我什么所需的，那此时可以通过

通过公式：=SUBSTITUTE(A2," ","") 进行处理

将空格替换为了空（""）

这样就可以完美的解决了。

除了SUBSTITUTE函数，Trim函数也可以就可以处理。如下：

那整理下：SUBSTITUTE与Trim的区别

两者本质上都是将空格去掉，前者是采用替换的方式，凡是遇到空格，全部替换为空；但是后者在执行的时候，不是全部替换，而是有选择性的替换（主要在英文方面使用，比如My name is Pangsiji，很明显，英文词之间的空格就是不需要替换的）

所以在处理数据时，需要清除你的数据时中文还是英文，然后在考虑用SUBSTITUTE或Trim

再往下看，我们经常会从ERP系统里面到出数据，然后进行加工处理，此时有一些数字看着是一样，也都是文本，长度也一致，但是就是不对，如下：

为什么呢？

因为数据从外部获取，这些数据中，由于计算机的处理，会存在一些非打印字符（是什么可以暂时不考虑），由于你看不到，同时也满足了相应的文本条件和字符串长度条件，导致结果出错，所以你需要处理这些非打印字符。

处理方式，用CLEAN函数，将非打印字符去掉即可

说道这里，你以为完了？No，No，No……

还有一种，比较变态，胖斯基也经常遇到，就是全角和半角符号输入的内容（这里主要说的是空格）

在上文中采用SUBSTITUTE(A2," ","")进行了空格的替换，一般情况下，基本都能解决。但是有时候，你分列变为文本，Clean处理了非打印字符，TRIM和SUBSTITUTE处理了空格，依旧不对，此时你需要考虑下这个空格是不是全角空格（尤其是从系统里面输出的数据），这里，你可以在你的SUBSTITUTE(A2," ","")公式中，空格的地方，输入全角符号的空格，怎么输入？切换你的输入法

So，说了这么多，胖斯基是想告诉你，当你在进行数据分析处理的时候，第1步要做：

1. 明确原始数据的类型，是文本还是数值；

2. 明确文本类型的数值情况下，采用采用Clean将非打印字符去掉，也可以采用Trim和Substitue函数将空格去掉（注意用法区别）

3. 如果还不行，你就要考虑考虑是不是有全角符号在里面输入（这个最为常见也最为变态）

这样，数据处理时才能提高你的效率！

加油吧，少年！

各位小伙伴好鸭，我们平时无论是学习还是工作，一个好的工具或者APP，直接关乎着我们的效率，今日就为大家分享一款好用的工具：UltraEdit

UltraEdit我们一般叫它为UE，是一款功能强大的文本编辑器，它不仅可以编辑文本、十六进制、ASCII码，还可以区代记事本，可同时编辑多个文件，运行速度还不慢。

这里最主要介绍的只是UE其中一个列模式功能，它允许编辑文档时，整列的进行修改编辑。

1、什么是列模式？

选择菜单栏列模式，或者使用快捷键Alt+C进入列模式下，可以选中一列数据进行操作

2、它有什么作用？

在选中那一列的情况下，批量修改数据，方便快捷

在选中那一列的情况下，批量修改数据，方便快捷

3、补充一下

这里你也可以不选中任何字符拉出一列，如上图。

然后增加字符数字，起到批量修改的作用。

Excel处理数据的时候，结合这个功能一起使用，十分高效。

当然UltraEdit的主流功能还是提现在编程的代码操作上面，不过做为一款批处理工具，常规的复制、粘贴、查找、替换功能都具备，还包括大小写转换等。

当然UltraEdit的主流功能还是提现在编程的代码操作上面，不过做为一款批处理工具，常规的复制、粘贴、查找、替换功能都具备，还包括大小写转换等。

你可能有疑问如果我只对文件中部分数据做修改怎么办呢？

UE还贴心的给出了多光标的处理方案，按住Ctrl点击需要添加光标的位置即可

这款软件也还有很多有趣的功能，可以试试。最后，当然福利部分：

UltraEdit编辑器+注册机（windows版）

后台回复：文本编辑器 获取

数据收集

数据收集是进行安全评价最关键的基础工作。所收集的数据要以满足安全评价需要为前提。由于相关数据可能分别掌握在管理部门（设备、安全、卫生、消防、人事、劳动工资、财务等）、检测部门（质量科、技术科）以及生产车间，因此，数据收集时要做好协调工作。尽量使收集到的数据全面、客观、具体、准确。

数据范围

收集数据的范围以已确定的评价边界为限，兼顾与评价项目相联系的接口。如：对改造项目进行评价时，动力系统不属改造范围，但动力系统的变化会导致所评价系统的变化，因此，数据收集应该将动力系统的数据包括在内。

数据内容

安全评价要求提供的数据内容一般分为：人力与管理数据、设备与设施数据、物料与材料数据、方法与工艺数据、环境与场所数据。

数据来源

被评价单位提供的设计文件(可行性研究报告或初步设计)、生产系统实际运行状况和管理文件等；

其它法定单位测量、检测、检验、鉴定、检定、判定或评价的结果或结论等；

评价机构或其委托检测单位，通过对被评价项目或可类比项目实地检查、检测、检验得到的相关数据，以及通过调查、取证得到的安全技术和管理数据。

相关的法律法规、相关的标准规范、相关的事故案例、相关的材料或物性数据、相关的救援知识，

数据的真实性和有效性控制

对收集到的安全评价资料数据，应关注以下几个方面：

收集的资料数据，要对其真实性和可信度进行评估，必要时可要求资料提供方书面说明资料来源；

对用作类比推理的资料要注意类比双方的相关程度和资料获得的条件；

代表性不强的资料（未按随机原则获取的资料）不能用于评价；

安全评价引用反映现状的资料必须在数据有效期限内。

数据汇总及数理统计

通过现场检查、检测、检验及访问，得到大量数据资料，首先应将数据资料分类汇总，再对数据进行处理，保证其真实性、有效性和代表性，必要时可进行复测，经数理统计将数据整理成可以与相关标准比对的格式，采用能说明实际问题的评价方法，得出评价结果。

数据分类

定性检查结果，如：符合、不符合、无此项或文字说明等；

定量检测结果，如：20mg/m3、30mA、88dB(A)、0.8MPa等，带量纲的数据；

汇总数据，如：起重机械30台/套，职工安全培训率89%等，计数或比例数据；

检查记录，如：易燃易爆物品储量12t、防爆电器合格证编号等；

照片、录像，如：法兰间采用四氟乙烯垫片、反应釜设有防爆片和安全阀、将器具放入冲压机光电感应器生效联锁切断电源等用录像记录安全装置试验结果，效果更好，特别是制作评价报告电子版本时，图像数据更为直观。

其它数据类型，如：连续波形对比数据、数据分布、线性回归、控制图等，图表数据。

数据结构（格式）

汇总类，如：厂内车辆取证情况汇总、特种作业人员取证汇总；

检查表类，如：安全色与安全标志检查表；

定量数据消除量纲加权变成指数进行分级评价，如：有毒作业分级；

定性数据通过因子加权赋值变成指数进行分级评价，如：机械工厂安全评价；

引用类，如：引用其它法定检测机构“专项检测、检验”的数据；

其它数据格式,如：集合、关系、函数、矩阵、树（林、二叉树）、图（有向图、串）、形式语言（群、环）、偏集和格、逻辑表达式、卡诺图等。

数据处理

在安全检测检验中，通常用随机抽取的样本来推断总体。为了使样本的性质充分反映总体的性质，在样本的选取上遵循随机化原则：

样本各个体选取要具有代表性，不得任意删留；

样本各个体选取必须是独立的，各次选取的结果互不影响。

对获得的数据在使用之前，要进行数据处理，消除或减弱不正常数据对检测结果的影响。若采用了无效或无代表性的数据，会造成检查、检测结果错误，得出不符合实际情况的评价结论。

概率

随机事件在若干次观测中出现的次数叫频数，频数与总观测次数之比叫频率。当检测次数逐渐增多时，某一检测数据出现的频率总是趋近某一常数，此常数能表示现场出现此检测数据的可能性，这就是概率。在概率论中，把事件发生可能性的数称为概率。在实际工作中，我们常以频率近似地代替概率。

显著性差异

概率在0至1的范围内波动。当概率为1时，此事件必然发生；当概率为0时，此事件必然不发生。数理统计中习惯上认为概率P≤0.05为小概率，并以此作为事物间差别有无显著性的界限。

原设定的系统，若系统之间无显著性差异（通过显著性检验确定），就可将其合并，采用相同的安全技术措施；若系统之间存在显著性差异，就应分别对待。

数据整理和加工有三种基本形式

按一定要求将原始数据进行分组，作出各种统计表及统计图；

将原始数据由小到大顺序排列，从而由原始数列得到递增数列；

按照统计推断的要求将原始数据归纳为一个或几个数字特征。

“异常值”和“未检出”的处理

“异常值”的处理

异常值是指现场检测或实验室分析结果中偏离其它数据很远的个别极端值，极端值的存在导致数据分布范围拉宽。当发现极端值与实际情况明显不符时，首先要在检测条件中直接查找可能造成干扰的因素，以便使极端值的存在得到解释，并加以修正。

若发现极端值属外来影响造成则应舍去。

若查不出产生极端值的原因时，应对极端值进行判定再决定取舍。

对极端值有许多处理方法。在这里介绍一种“Q值检验法”。

“Q值检验法”是迪克森（W.J.Dixon）在1951年专为分析化学中少量观测次数(n＜10)提出的一种简易判据式。检验时将数据从小到大依次排列：X1，X2，X3，……，Xn-1，Xn，然后将极端值代入以下公式求出Q值，将Q值对照表1-6的Q0.90,若Q值≥Q0.90则有90%的置信此极端值应被舍去。

例:现场仪器测在同一点上4次测出:0.1014，0.1012，0.1025，0.1016，其中0.1025与其它数值差距较大，是否应该舍去？

根据“Q值检验法”：

Xn － Xn-1 0.1025－0.1016

Q＝—————＝—————————＝0.69＜0.76　(4次观测的Q0.90＝0.76)

Xn － X1 0.1025－0.1012

所以: 0.1025不能舍弃,测出结果应用4次观测均值0.1017

“未检出”的处理

在检测上，有时因采样设备和分析方法不够精密，会出现一些小于分析方法“检出限”的数据，在报告中称为“未检出”。这些“未检出”并不是真正的零值，而是处于“零值”与“检出限”之间的值，用“0”来代替不合理（可造成统计结果偏低）。“未检出”的处理在实际工作中可用两种方法进行处理：

将“未检出”按标准的1/10加入统计整理；

将“未检出”按分析方法“最低检出限”的1/2加入统计。

总之，在统计分组时不要轻易将“未检出”舍掉。

检测数据质量控制

检测质量控制经常采用两种控制方式来保证获得数据的正确性：一是用线性回归方法对原制作的“标准曲线”进行复核；二是核对精密度和准确度。

记录精密度和准确度最简便的方法是制作“休哈特控制图”，通过控制图可以看出检测、检验是否在控制之中，有利于观察正、负偏差的发展趋势，及时发现异常，找出原因，采取措施。

安全评价的数据处理

收集到的数据要经过筛选和整理，才能用于安全评价。

来源可靠：收集到的数据要经过甄别，捨去不可靠的数据。

数据完整：凡安全评价中要使用的数据都应设法收集到。

取值合理：评价过程取值带有一定主观性，取值正确与否往往影响评价结果。

为提高取值准确性可从以下三方面着手：

严格按技术守则规定取值；

有一定范围的取值，可采用内插法提高精度；

较难把握的取值，可采用向专家咨询方法，集思广益来解决。

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?

第一，数据采集

定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战：并发系数高。

使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特点各不相同。

第二，统计分析

定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。

特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多。

使用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle Exadata，除Hadoop以做离线分析为主之外，其他产品可做实时分析。

第三，挖掘数据

定义：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。

特点和挑战：算法复杂，并且计算涉及的数据量和计算量都大。

使用的产品：R，Hadoop Mahout

现在时时刻刻都在产生大量数据，面对这些大量并且杂乱的数据，如果不能进行分析整理，可能并没有什么用处，Powerquery不仅能导入超百万行甚至上亿行的数据，更重要的是可以轻松对这些数据进行挖掘处理，从中找到我们需要的数据集合。

对导入的数据进行数据整理的过程一般称为「数据清洗」，之所以称之为清洗，是因为在数据分析师眼中，杂乱的数据就是脏数据，只有被清洗成干净的数据后才可以进行分析使用，下面我们就来认识Power Query 的强大数据清洗功能。以下的操作过程在PowerBI和Excel中均适用。

01提升标题

在Excel中第一行为标题行，从第二行开始才是数据，但在PQ中，从第一行开始就需要是数据记录，标题在数据之上，

因此从Excel导入数据的第一步就是要提升标题，点击「转换」的将第一行作为标题，标题提升就完成了。

点击将第一行作为标题旁边的下拉按钮，还有个将标题作为第一行，实际上就是拉低标题，这个功能也特别有用，下面会介绍到。

02更改数据类型

更改数据类型虽然很简单，但设置正确的数据类型非常重要，后期数据建模和可视化过程中，很有可能会出现一些意想不到的错误，最后发现是数据类型设置的不对，所以一开始就养成设置数据类型的好习惯。有两种方式设置数据类型，

03删除错误/空值

数据导入后，有可能出现错误（Error）或者空值（null），

做数据分析之前，要想达到右边的效果，需要把它们去掉，操作如下：

04删除重复项

删除重复项在PQ中非常简单，选中需要删重的列，右键选择「删除重复项」即可：

05填充

在Excel数据中经常会见到合并单元格的情况，导入后就变成了空值，像下面这样：

在PQ中直接向下填充即可：

06合并列

在PQ中选择需要合并的列，然后在「转换」中找到”合并列“，弹出合并列窗口：

比如刚才的表格，把[区域]和[城市]合并：

07拆分

拆分相当于是合并列的反动作，不过功能更丰富，可以选着按字符数，也可以选择按分隔符，如果列中包含多个分隔符，还可以选择按哪个位置的分隔符来拆分：

我们把刚才的合并列再拆分一下，又变成合并前的格式了：

08分组

相当于Excel中的分类汇总功能，比如刚才的数据，我们要计算各区域1月份的合计金额，点击分组依据：

把相应参数填上以后，分组完成：

09提取

PQ的提取功能可以按照长度、首字符、尾字符、范围等来提取，比如下面这个例子，提取前2个字符：

10行列转置

数据处理有的时候需要行列互相转换一下，比如把各城市变成列标签，月份变成行标签，点击行列转置，

是不是发现哪里有些不对劲？月份不见了，这是因为转置的时候，只转数据的部分，月份并不在数据区，我们要想保留月份，先要把月份降下来，这里用到我们前面介绍的”将标题作为第一行“，

标题下降以后，再进行转置就可以了，

转置完成，不过还要再把第一行城市提升为标题。

11行列操作

PQ的行列操作十分灵活，非常大规模的数据操作。

12逆透视列

这是PQ非常便捷的逆天功能，由于数据分析的需要，我们经常要将二维表变为一维表，之前在Excel中需要很多操作步骤才能完成，而通过逆透视功能，可以一键降为一维表，

13透视列

做分析需要一维表，而为了展现的需要，常常还要把一维表变成二维表，也就是Excel中的数据透视，在PQ中同样可以一键透视，比如把刚才的一维表变成原样，聚合方式选择“不要聚合”。

点击确定就变回原来的二维表了，

以上这些是最基本也是最常用的数据清洗功能，看上去也都很简单，动手操作才能更好的掌握，熟练运用以后基本能搞定大部分数据处理的工作，这些不仅是学习Power BI的必备技能，更能让你的Excel水平短时间内大大提升。

PowerBI星球，大数据时代，保持并提升你的职场竞争力。

　　BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!

0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可

前言

Python正迅速成为数据科学家偏爱的语言，这合情合理。它拥有作为一种编程语言广阔的生态环境以及众多优秀的科学计算库。如果你刚开始学习Python，可以先了解一下Python的学习路线。

Python学习路线图

本文旨在提供Python数据处理的12种方法。文中也分享了一些会让你的工作更加便捷的小技巧。

开始工作

首先我要导入要用的模块，并把数据集载入Python环境。

1、布尔索引(Boolean Indexing)

如何你想用基于某些列的条件筛选另一列的值，你会怎么做？例如，我们想要一个全部无大学学历但有贷款的女性列表。这里可以使用布尔索引。代码如下：

data.loc[(data["Gender"]=="Female") & (data["Education"]=="Not Graduate") & (data["Loan_Status"]=="Y"), ["Gender","Education","Loan_Status"]]

2、Apply函数

Apply是摆弄数据和创造新变量时常用的一个函数。Apply把函数应用于数据框的特定行/列之后返回一些值。这里的函数既可以是系统自带的也可以是用户定义的。例如，此处可以用它来寻找每行每列的缺失值个数：

输出结果：

由此我们得到了想要的结果。

注意：第二个输出使用了head()函数，因为数据包含太多行。

3、替换缺失值

‘fillna()’ 可以一次解决这个问题。它被用来把缺失值替换为所在列的平均值/众数/中位数。

输出: ModeResult(mode=array([‘Male’], dtype=object), count=array([489]))

返回了众数及其出现次数。记住，众数可以是个数组，因为高频的值可能不只一个。我们通常默认使用第一个：

mode(data['Gender']).mode[0]

'Male'

现在可以填补缺失值，并用上一步的技巧来检验。

由此可见，缺失值确定被替换了。

注意这是最基本的替换方式，其他更复杂的技术，如：

缺失值建模用分组平均数（平均值/众数/中位数）填充

4、透视表

Pandas可以用来创建 Excel式的透视表。例如，“LoanAmount”这个重要的列有缺失值。

5、多重索引

你可能注意到上一步骤的输出有个奇怪的性质。每个索引都是由三个值组合而成。这叫做多重索引。它可以帮助运算快速进行。

注意：

多重索引需要在loc中用到定义分组group的元组(tuple)。这个元组会在函数中使用。

需要使用.values[0]后缀。因为默认情况下元素返回的顺序与原数据库不匹配。在这种情况下，直接指派会返回错误。

6、二维表

这个功能可被用来获取关于数据的初始“印象”（观察）。这里我们可以验证一些基本假设。

7、数据框合并

当我们有收集自不同来源的数据时，合并数据框就变得至关重要。

现在可以把它与原始数据框合并：

注意这里的 ‘values’无关紧要，因为我们只是单纯计数。

8 、给数据框排序

Pandas可以轻松基于多列排序。方法如下：

注：Pandas 的“sort”函数现在已经不推荐使用，我们用 “sort_values”函数代替。

9、绘图（箱型图&直方图）

许多人可能没意识到Pandas可以直接绘制箱型图和直方图，不必单独调用matplotlib。只需要一行代码。

data.boxplot(column="ApplicantIncome",by="Loan_Status")

data.hist(column="ApplicantIncome",by="Loan_Status",bins=30)

可以看出获得/未获得贷款的人没有明显的收入差异，即收入不是决定性因素。

10、 用Cut函数分箱

有时把数值聚集在一起更有意义。

11、为分类变量编码

编码前后计数不变，证明编码成功。

12、在一个数据框的各行循环迭代

通常来说手动定义变量类型是个好主意。如我们检查各列的数据类型：

#检查当前数据类型：

data.dtypes

载入这个文件之后，我们能对每行迭代，把用‘type’列把数据类型指派到‘feature’ 列对应的项目。

现在信用记录这一列的类型已经成了‘object’ ，这在Pandas中代表分类变量。

1.EDI许可证的定义是什么？

在线数据处理与交易处理业务是指利用各种与公用通信网或互联网相连的数据与交易/事务处理应用平台，通过公用通信网或互联网为用户提供在线数据处理和交易/事务处理的业务。在线数据处理与交易处理业务包括交易处理业务、电子数据交换业务和网络/电子设备数据处理业务。

2、哪些业务需要办EDI在线数据处理与交易处理许可证？

从业务角度可以分为三类：交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

“交易处理业务”是指办理各种经营类电子商务、银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

”网络/电子设备数据处理业务”是指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

“电子数据交换业务”，也就是EDI，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

申请条件：

（1）经营者为依法设立的独立法人公司；

（2）跨地区经营的注册资本最低认缴限额为1000万元人民币，省内经营的注册资本最低认缴限额为100万元人民币；有外资必须在工信申请。

（3）有与开展经营活动相适应的专业人员；

（4）公司及其主要出资者和主要经营管理人员三年内无违反电信监督管理制度的违法记录。

准备材料：

（1）申请企业法人营业执照副本、法定代表人身份证；

（2）工商档案查询章程；

（3）一级股东证件证明材料（企业法人股东公司营业执照副本和工商档案查询章程、自然人股东身份证）；

（4）公司联系人、信息安全负责人、客服负责人3个人的身份证和一个月社保证明/省证3个人3个月社保。

(5）网站

许可概述

资质全名：第二类增资电信业务经营许可证—EDI许可证

审批机构：工信部/省管局

审核时间：行政受理后受理后45-55个工作日下证代办费市场价待定，各地区价格不一样

年检要求：省内证每年1月1日-3月31日年报，全国证每年3月1日-3月31日年报;

有效期限：5年

常见问题：1：

类似于：京东，淘宝第三方平台及PTP金融平台都需要办理。

2、无证经营会有哪些处罚

依据《中华人民共和国电信条例》（国务院291号令）第七十条之规定“擅自经营电信业务的，或者超范围经营电信业务的，由国务院信息产业主管部门或者省、自治区、直辖市电信管理机构依据职权责令改正，没收违法所得，处违法所得3倍以上5倍以下罚款；没有违法所得或者违法所得不足5万元的， 处10万元以上100万元以下罚款；情节严重的，责令停业整顿！”

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...