数据分析第一

前几天一场大雪席卷全国，导致国内多个机场，高铁火车站，晚点停运，高速公路封路。安徽合肥，大雪压塌公交车站导致5个路人受伤入院治疗，二七大桥天降冰凌，20多辆车被砸中，导致路面交通阻塞。更多的大雪导致的新闻不断的出现。突然发现，这几年天气好像突然变得异常了。记得前几年，每年冬天几乎都是大太阳，老家河南根本就没有下雪，更别说那么厚的积雪了。最大的雪是2008年出现的雪灾，导致国内出现大面积停电，火车晚点等。不过2008年到今年已经十年，难道真的是十年一个节数？当然，我们是不相信迷信的，那么我们就用数据去分析近几年的天气情况。我们先看下2008年的大雪图片：

那我们分析下近几年天气情况：

第一，制定和实施《大气污染防治行动计划》。2013年6月14日，国务院常务会部署大气污染防治十条措施。9月国务院正式下发《大气污染防治行动计划》（简称“大气十条”）。

第二，扎实推进主要污染物减排。为了落实年度主要污染物减排指标，国务院办公厅转发“十二五”总量减排考核办法。有关部门积极落实，严格问责。

第三，加强环境影响评价工作。有关部门完成西部大开发战略环评，启动中部地区发展战略环评。一年中环保主管部门共批复项目环评文件241件，涉及总投资1.9万亿元。对不符合要求的32个项目退回报告书、不予审批或暂缓审批，涉及总投资1184亿元。

第四，突出源头预防和生态保护。积极推进生态红线划定工作。在内蒙古、江西、广西和湖北4省区开展生态红线划定技术试点。

第五，强化执法监管。继续开展环保专项行动，全国共出动执法人员183万余人（次），检查企业71万余家（次），查处环境违法问题6499件，挂牌督办1523件。开展华北地区地下水污染专项检查，检查涉水排污企业2.59万家，查处各类环境违法行为558件。强化饮用水源保护和地下水污染防治。

以上措施，对环境的改变还是有效果的，期待我们的绿水青山，蓝天白云。

这里是百家号：程序员技术前沿，用数据分析生活，欢迎转载评论。

又到一年年终汇报时，相信大家都在回顾2017，展望2018。这其中少不了一些年度汇报。针对年度汇报，我们都希望呈现出自己工作业绩完美的一面，形成一个个内容充实，视觉可观的报告，像这样：

视觉效果很不错，会给你的成绩汇报加分。

而形成这样的报告，其前提是要对你的业务数据进行分析，而分析的第一步，你是什么做的呢？

比如看看下面的一个简单例子：每个省/市有代码，现在系统通过代码来获取省/市的名称

公式：=VLOOKUP(D2,A:B,2,0)

从公式上看，没有问题，但是就是得不到所期望的结果，为什么呢？

俗语说：你看到的，未比就是你想象中那样，正确的。

现在看到的表格中，要查代码是11的省市，而11即可以作为文本，又可以作为数字，所以要采用Vlookup核查的时候，需要明确其类型是一致，故：数据处理的第一步的时候，你要明确你的数据类型，是文本，还是数值，或者还是其他？

那针对上述问题，我们校验一下：

公式1：ISTEXT(A2) 结果为False

公式2：ISTEXT(D2) 结果为True

很明显，数据类型不一致，结果很显然，对不了

那如何处理呢？

常规方法：采用数据分列的模式，让数值变为文本

再往下看：依旧是这个例子

首先公式没有问题，其次代码层面也检查了，都是文本类型了，但是为什么还是错呢？

还是那句俗语：你看到的，未比就是你想象中那样，正确的。

那要如何处理呢，请往下看

公式1：LEN(A2) 结果为3

公式2：LEN(D2) 结果为2

很明显，虽然都是文本，但是长度不一样，那基本可以判定，里面肯定含有空格，针对这种空格，显然不是我什么所需的，那此时可以通过

通过公式：=SUBSTITUTE(A2," ","") 进行处理

将空格替换为了空（""）

这样就可以完美的解决了。

除了SUBSTITUTE函数，Trim函数也可以就可以处理。如下：

那整理下：SUBSTITUTE与Trim的区别

两者本质上都是将空格去掉，前者是采用替换的方式，凡是遇到空格，全部替换为空；但是后者在执行的时候，不是全部替换，而是有选择性的替换（主要在英文方面使用，比如My name is Pangsiji，很明显，英文词之间的空格就是不需要替换的）

所以在处理数据时，需要清除你的数据时中文还是英文，然后在考虑用SUBSTITUTE或Trim

再往下看，我们经常会从ERP系统里面到出数据，然后进行加工处理，此时有一些数字看着是一样，也都是文本，长度也一致，但是就是不对，如下：

为什么呢？

因为数据从外部获取，这些数据中，由于计算机的处理，会存在一些非打印字符（是什么可以暂时不考虑），由于你看不到，同时也满足了相应的文本条件和字符串长度条件，导致结果出错，所以你需要处理这些非打印字符。

处理方式，用CLEAN函数，将非打印字符去掉即可

说道这里，你以为完了？No，No，No……

还有一种，比较变态，胖斯基也经常遇到，就是全角和半角符号输入的内容（这里主要说的是空格）

在上文中采用SUBSTITUTE(A2," ","")进行了空格的替换，一般情况下，基本都能解决。但是有时候，你分列变为文本，Clean处理了非打印字符，TRIM和SUBSTITUTE处理了空格，依旧不对，此时你需要考虑下这个空格是不是全角空格（尤其是从系统里面输出的数据），这里，你可以在你的SUBSTITUTE(A2," ","")公式中，空格的地方，输入全角符号的空格，怎么输入？切换你的输入法

So，说了这么多，胖斯基是想告诉你，当你在进行数据分析处理的时候，第1步要做：

1. 明确原始数据的类型，是文本还是数值；

2. 明确文本类型的数值情况下，采用采用Clean将非打印字符去掉，也可以采用Trim和Substitue函数将空格去掉（注意用法区别）

3. 如果还不行，你就要考虑考虑是不是有全角符号在里面输入（这个最为常见也最为变态）

这样，数据处理时才能提高你的效率！

加油吧，少年！