数据其实是非常的客观的，但是数据本身并不会告诉你多少有价值的东西，其中蕴涵的内容才是我们应该去发掘的。

我们通过数据分析将现实中的问题简化成数字问题，从而得到解决问题的建议。

需要注意的是，数据分析只是工具，不是目的。我们进行数据分析是为了让分析结果能反映现阶段的情况，并对下一步计划产生指导意义，所以千万不要为了分析而分析。

1、明确目标

一切分析的基础都是需要明确目标，在此之前，不要开始任何分析，因为那很可能是无用功。

一般来说，目的主要有以下三种。

（1）分析现状，反映目前的状况，并且帮助我们制定下一步计划。

（2）分析问题，针对出现的问题，分析其中的原因并找到解决办法。

（3）分析变化，当产品的情况出现变化时反映变化的情况，并找出原因，有针对性的进行下一步行动。

2、明确分析范围

因为数据的量和维度都非常的多，我们在明确目标后，就必须选定我们分析的范围，明确的分析范围能避免分析报告内容太多，而且不深入。

需要注意的是，确定范围后我们就需要进行数据采集了，但是具体要采集什么样的数据，不是我们平常的“自然语言”描述就可以实现的，需要抽象成“数学语言”表达出来。

3、数据采集

确定了范围后，我们就可以采集数据了，需要采集哪些数据也是有讲究的，它也是需要我们用“数学语言”来表达的。一般来说，需要采集的数据分为以下3类，这是最基础的：名称、数量和转化率。

（1）名称：某些数据的结果不是以数字形式展现的，比如某某功能

（2）数量：这个比较简单，比如：某某功能的点击次数

（3）转化率：有些数据单独的看，是不能说明问题的，例如：光看一个功能的点击次数，我们不能得出这个功能是否吸引人，是否需要改进，我们还需要看完成这个功能的人数。然后将两个数据相除后得到这个功能的转化率。

以上都是一个分析中最基础的指标，在实际数据分析中，还会有更多更细致的维度。比如：用户点击这个功能后，停留时间，退出的数量，在中途放弃的数量等等。

4、数据清洗

采集数据后，这些数据并不是直接就可以用的。因为可能会有一部分“脏数据”会污染我们的数据，进而影响我们的分析结果。这就需要进行数据清洗，将不符合要的“脏数据”清洗掉。

比如，某个用户一直在点击某个功能，每秒固定点击1次，然后退出，那么这个“用户”很可能是个机器，而不是人。这些数据是不能用的。

一般“脏数据”有以下几个类型。

（1）频率异常：正常用户的使用一个功能的频率一般会保持在一定范围内，不会太频繁。

（2）总数异常：比如某一个用户一个人就拉高了整个数据的水平，让某个功能点击率陡然上升。

（3）行为异常：这个就比较复杂了，对应不同的业务有不同的理解。比如：比如一个购物APP，一个用户的多次的下单，然后退货，这类数据就是应该排除的。

5、数据整理

收集完成后，我们需要对收集到的原始数据进行整理。因为收集出来的数据必然是比较乱的，不能直接拿来分析。整理分析分为汇总和拆分两种。

（1）汇总

有些数据比较杂乱无章，我们要按照某个维度汇总才能进行效果的观察。比如：我们需要观察某个功能上线后用户行为的变化，就可以按照上线前和上线后的用户行为数据进行分类汇总，然后通过两份数据的对比来得到结论。

（2）拆分

有些原始数据并不足够细致，需要我们依据数据的关系进行数据拆分。例如，一个功能的入口可能有多个，我们就需要确认每个入口的量，甚至完成整个功能的量，这些数据会让我们更加了解我们的用户行为。

6、数据对比

整理完数据后，我们要进行数据对比。这也是数据分析中非常重要的步骤，因为数据分析的结果绝大多数都来自于对数据的对比。比如：一个功能改进前和改进后的转化率，肯定要经过对比才能知道我们的改进是不是有效的，有效多少。通常对比方法有以下几种。

（1）时间对比。通过时间节点前后进行对比数据。例如：某个营销活动，促进注册、活跃等，我们就可以得出这个营销活动能够带动日活的结论。

（2）空间对比。在我们生活的世界中，因为人们所存在的空间不同，会有不同的行为。比如：通过数据分析，我们会发现，东北的羽绒服效率比海南高，于是我们就可以判断羽绒服在东北更加畅销。

（3）人群属性对比。在用户画像中也提高过。不同的年龄层对于不同事物的看法不同，会导致某个功能在不同人群中的差异性。

依据分析目的灵活地选定对比范围，能让我们从数据中挖掘到我们想要的东西。

7、原因探寻

数据，通过对比呈现出来，能够反映一定的现象，但是造成这些现象的原因还需要我们来寻找。

原因的分析方法有很多，可以正推导、反推导。我们可以结果，那假设原因，再去求证。或者通过某个功能的整个流程进行梳理和复盘，结合数据来分析每一步发生这种情况的原因。

或者通过数据来复盘某一个活动，来分析活动输出的这种数据或好的或坏的原因是什么。

8、展现结果

完成上面的7步，我们的数据分析报告也就差不多了，当然我们必须形成一个比较完整的文档来反馈给相关人员。

我们可以把报告分成以下3部分。

（1）数据分析背景：向大家交代分析的背景与原因。

（2）主要结论：给出主要结论，方便不需要了解细节的人阅读，或领导。

（3）具体分析过程：向大家说明分析的步骤并展示具体数据。

这样就完成了一篇还比较靠谱的数据分析报告。

一：编程能力

　　是否会编程是区别初级数据分析师和高级数据分析师的分水岭。在这里，我定位的是高级数据分析师，所以编程能力尤为重要，我把它放在了第一位。

　　有关数据分析的编程语言有Python和R语言。R语言倾向于统计分析、绘图等。统计学家或者学统计学的喜欢用R语言，而我推荐学习Python，因为Python是面向未来的语言，无论从流行度、可用性还是学习难度来讲，Python都是最好的入门语言。

　　当然，如果可以的话，再掌握一下R语言是最好不过的，学习嘛，永无止尽。

　　书籍推荐《Python编程：从入门到实践》 豆瓣评分：9.0

　　当然，只有Python基础肯定是不够的，既然是学习数据分析，肯定就要有数据才行，数据从哪里来，肯定是从互联网上来。互联网上的信息何其之多，必须要对其加以过滤处理，提取我们想要的信息。这就要用到Python爬虫，这也是学Python一个很重要的目的和作用。

　　学习Python爬虫肯定比学习Python基础要困难一下，但好在网上的学习资源十分丰富，努力学习必定会有收获的。

　　关于Python爬虫的书籍，目前我还没有较好的书籍推荐，如果说实在要推荐的话，我推荐三本书：

　　《Python网络数据采集》 豆瓣评分：7.7

　　《Python爬虫开发与项目实战》 豆瓣评分：8.1

　　《精通Scrapy网络爬虫》 这是十月份出的新书，豆瓣上还没有评分。

　　知乎里面有很多爬虫大神，没事多逛逛知乎总会有收获的。

　　关于编程能力，是一个很深的概念，需要靠大量的撸代码积累经验。先暂且说到这些。

二：SQL

　　学习数据分析，最难最重要的就是编程能力，熬过去了，后面的就稍微简单一些了。

　　既然是跟数据打交道，就免不了要使用数据库。

　　目前主要有四种数据库：

　　1：SQLite 是一个文件型轻量级数据库，它的处理速度很快，在数据量不是很大的情况下，可以使用SQLite。

　　2：MySQL 是一个应用极其广泛的关系型数据库，它是开源免费的，可以支持大型数据库，很多中小型企业都是用的MySQL。

　　3：MongoDB 是一个面向文档的非关系型数据库，它功能强大、灵活、易于拓展。

　　4：Redis 是一个使用ANSI C 编写的高性能key-value数据库，使用内存作为主存储器。

　　它们各有优点，可以灵活使用，如果说非要选一个的话，我建议使用MySQL，因为它使用最广泛。学习最主流的技术，可以在一定程度上发挥更大的作用。

　　关于SQL的学习资源：

　　购买书籍推荐《SQL基础教程》作者：MICK

　　豆瓣评分：9.0，好像这本书出了第二版了，建议购买最新版的。

三：数据分析能力

　　前面说了那么多，都是为了数据分析做准备。数据分析就好比亲手做一顿美食，现在食材有了(通过Python爬虫采集)，盛放美食的容器也有了(数据库)。现在就差开火做饭了，写到这感觉肚子饿了，哎呀，忍住。

　　对于数据分析，我还没有过多的涉足，总之，多看书，多做项目。

　　这里我推荐几本书(都是放在我购物车里还没有买的书)

　　学习数据分析必看的书单：

　　《Python数据分析基础》八月份的新书，豆瓣上还没有评分。

　　《利用Python进行数据分析》2013年的老书，豆瓣评分：8.5

　　《Python数据处理》六月份的新书，豆瓣上没有评分。

　　《用数据讲故事》 豆瓣评分：8.7

　　虽然我还没来得及看这几本书，但是我想认真看了之后，对于数据分析的理解肯定会更加深刻的。

四：数据可视化

　　现在美食做好了，但不能一股脑的装在碗里吧，美食讲究色香味俱全。所以要给它作一个漂亮的造型，呈现在客人面前。这就是数据可视化。

　　数据可视化需要借助工具，什么工具呢?那就是大名鼎鼎的tableau!

　　什么?你没有听说过tableau?现在听我说了也不迟，哈哈。

　　tableau是一款世界级的商业智能工具软件，tableau可以帮助我们快速的分析、可视化并分享信息。在福布斯2017年公布的《10大需求增长最快的职场技能》报告中，tableau高居第三，成为数据分析和可视化的职场必杀技。

　　说了这么多，咱们还是好好聊聊怎么学习tableau吧。tableau是一款收费软件，先看一下它的价格吧：

　　image

　　果然优秀的软件都是收费的，而且还贵的要死。

　　但是，tableau的良心之处在于：学生和教师可以免费使用tableau，只需要用我们的学生证信息去免费申请一个序列码，然后就可以下载激活该软件，有效期为1年，如果一年后还是学生的话，还可以用学生证再去申请一个序列号，然后再免费用一年。

谨以此文献给所有数据从业苦逼之人，如有中伤之处，请自行戴好盔甲，以防中伤过深。同时也以此文献给后期对数据热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速的调整思路和方向，以对自己的职业生涯有更好的发展。

最近听到一些段子，很有意思，分享给大家！

这些段子是很多数据分析人员的真实写照：

新招进公司做大数据分析师，好开心好兴奋好激动！！！然而...

入职第一天，老板给了我一张 50M 的 Excel 表说：

“你看我们有 100多万条用户信息，这么大的数据，来个大数据分析下！”

还没从震惊中恢复过来，业务部又神补一刀：

“我们准备跟星巴克合作，来预测下明年多少人喝咖啡，几千万的大项目，预测不准公司要亏很多钱的，你加油哈！”

面对这样的业务部，我只想说：“我要是未卜先知为啥不去炒股来给你打工”

IT大哥贼兮兮的说：“哥们你可来了，那失散到天涯的数据有娘啦！”

没法，最终还是把数据拼起来开始分析...

发现好有规律啊~好工整啊~这...是不是有坑？！

去业务部一问才知道，这些都是被经销商篡改操纵的数据...

后来拿到了全真实的数据！全部没有规律了！喜极而泣！！

擦干泪仔细一看，80%的记录缺失，10%记录不全，5%记录出错……

整完数据开始统计，然而领导觉得只做加减乘除太简单了，有没有更深度的方法（解读：需要纠正的是，有用为先，花哨次之，这种说法不太合理）

简单了就做个模型吧，然而检验值还没讲完领导表示太复杂搞不懂，能简单点不（解读：这个是解读能力的问题，跟领导没关系...没关系..没关系...）

改来改去已很多遍了！我已不太记得领导唠叨了什么，总之又听到一句：“再改一下，看看其他维度深入分析分析”，然后默默新建一个文件：《分析报告V16-8版》

输出结果和业务部的认知差不多，被评价为：

“我们都知道了啊，这大数据做了跟没做一样啊”

输出结果和业务部的认知差很多，被评价为：

“这个与业务经验完全不同，肯定是数据的问题，我们都十多年经验了，快回去检查数据，上次我去见XXX客户人家就不是这样的！一定是你错了！一定！”

此段子一出，群里都炸开了锅，大家都开始不断的煽风点火，各种数据背锅，各种吐槽，说尽了数据分析师的辛酸苦辣。

我做数据分析师的时候也经常遇到上面这些遭遇，乃至后来找到了一些规避这些问题的方法，希望对大家有所帮助。

同时，我也希望借此号召所有的数据从业者，在数据应用实践上能够深入思考并有所突破，在正确的轨道上更好的发挥出数据的价值，从而让数据从业者有更大的 ，不再拘泥于每天的抱怨和自怨自艾中。

数据之苦

进入正文，数据人之苦最苦的是：有好处想不到你，出了问题都是你的错

这句话的意思就是你做好是应该的，做得不好就得承担责任。这种痛苦完全命中了马云蜀黍对离职的两点看法：

心累（得不到价值肯定）、钱少（没业绩肯定哪来的升职加薪）

区分数据流程的不同阶段，数据人之苦又有所区分侧重不同，说一下我的个人浅见。

根据数据应用的不同阶段，我的划分方法如下，从数据底层到最后应用：

大数据平台

目前很火，数据源头，各种炫酷新技术，搭建 Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂 Java，很多平台都是用 Java 开发的。

现在很多企业都把数据采集下来了。对于传统的业务，用传统的数据是完全够用的；可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。

这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。

我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。但是，进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升了比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。

现阶段，很多公司都要做第一步：存储更多的数据。这也就是我们这块人员流动性比较高，因为都被高薪挖走了。

和传统的 SQL 不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看有两个方向

分布式已经被证明是个很好的一个方式。云端会是个很好的方向。不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员 OPS，从事这个行业的我们要有很好的危机意识，及时贡献出自己的价值，积极主动的学习新技术、否则你就要被淘汰了。

此外，花点钱把数据托管给云服务提供商对于创业公司或者一些传统的企业来说是个很好的思路，这样能够最快速地确定数据对你的价值是什么，而不用采购这么多的服务器、雇佣这么多的运维和网站开发人员。

说了以上这些，主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块，体会不深，大家看看就行。

这块工作最被吐槽的一点就是：Hive 速度好慢，SQL 查询好慢，集群怎么又挂掉了，Hadoop 版本升级后，怎么数据跑出来不对了等等。

因此，在这个领域内工作，需要有强大的

攻坚能力。快速定位和解决 bug 的能力。因为有很多工具都是开源的。Java 开发能力。因为是开源的，所以会出现各种坑爹，甚至出现无法向下兼容的情况。

如果想在这块做的很好，还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力，可以打入开源社区，这样就可以随时 follow 最新的潮流和技术。

数据仓库-ETL

确实做仓库的人很辛苦，单单 Oncall 就会让人望而却步。有很多数据库工程师，晚上睡觉的时候经常被 Oncall 电话吵醒，因为数据流程出问题，需要第一时间去排查，是哪个数据源出问题，并且要立即解决，否则整个数据流程都会受到影响。

如果数据流程受到了影响，你就可能会被大领导一言不合叫到办公室说：我要的数据怎么还没有准备好，我的业务报表今天怎么没有发出来。

通过上面这个情景，我们可以知道：这是个很重要的岗位，因为数据流程很重要，决定了数据从源头杂乱无章的状况，通过 ETL 之后变成了整齐的数据，这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来，并且能够统一口径。要不然就会变成有几个部门，就有几种统计结果，到时候 A 部门说业务增长了 5%，B 部门说业务涨了 10%，OMG，到底信谁?

至少在以下几点上，我觉得数据仓库人员是应该要做好：

数据字典的完整性，用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性，不要同样一个字段在不同表里有不同的定义。核心流程的稳定性，不要让每天订单主表能够使用的时间很不稳定，有的时候很早，有的时候要中午才出来，如果不稳定就会导致使用数据的人对你很没有信心。仓库版本迭代不要过于频繁，要保持不同版本之间的兼容性。不要做好了仓库 1.0，很快就把原来的推倒重来，变成了 2.0。在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了 1.0 的表结构，没办法这么快进行切换。简单地说，要能向下兼容。在这点上，我是深有体会，之前出现过每来一个大领导都来换一次数据仓库的。保持各业务逻辑的统一性，不要出现同样的业务逻辑，同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西，所以导致每个人写法不同。这点其实需要特别注意。

针对以上，这个岗位的技能要求是：不要成为仅仅会写 SQL 的人，现在工具都很发达，如果你的技能很单一的话，那么可替代指数是非常高的，并且你自身也没有什么成就感。这里并不是说会写 SQL 的人很 low，只是说应该多学一些技能，否则你很危险。

技能上，除了 SQL 熟练之外，还需要知道如何写 Transform，MapReduce，因为有很多业务逻辑用 SQL 实现起来非常复杂，但是如果你会其他脚本语言，那么就能给你提供便利，让你的效率提升很多。

另外好的仓库人员需要写 Java 或者 Scala，通过写 UDTF 或者 UDAF 来提升你的效率是很有必要的。

仓库人员应该要常常思考，如何进行架构设计是最合理的，你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效，热数据和冷数据如何拆分等，所以需要有架构思维。

数据仓库人员也应该常常考虑自动化和工具化方面的事情，需要很好的工具或者模块的抽象能力，动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题，需要很快定位问题并进行优化。

说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！在每次阐述你的观点、分析结论或者用算法的时候，都需要先检查，源头数据正确性，否则任何结论都是伪命题。

数据可视化

这是个很炫的工作，最好是能懂点前端，比如 js。

数据可视化人员需要有很好的分析思维，不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多，所以没有特别深入的感悟，不过我觉得这个岗位需要有分析的能力，才能把可视化做好。

另外一方面来说，做数据应用的人都应该懂点数据可视化，要知道观点表达的素材顺序是：图片>表格>文字，一个能够用图片来阐述的机会千万别用文字来描述，因为这样更易于让别人理解。要知道，给大领导讲解事情的时候，需要把大领导设想成是个“数据白痴”，这样才能把一件事情说的比较生动。

4

数据分析师

现在对数据分析的需求是很大的，因为大家都想着说：数据有了，但是能做些什么呢？这就需要有数据分析师， 。

对数据分析师吐槽最多的是：你分析出来的不就是正常的业务逻辑吗，还需要你分析什么？或者是你分析的结论不对，跟我们的业务逻辑不符合。

特别是 ABTest 的结果和当初设定的预期不相符合的时候，分析师会常常被拉过去说：分析一下，为什么我的 AB 实验结果不显著，里面肯定有原因的。

很多时候，宝宝的心里苦啊，你说这个转化率下降了，从数据上可以看出哪个细分渠道下降了，至于为什么客户不下单，我们得问用户去，很多时候，数据上也体现不出来为什么，只能告诉你现状是什么。

如果你一直在写分析报告，给结论中，持续周而复始，没有直接在业务中体现成绩的时候，数据分析师们该醒醒了，你该想想这个是你要的岗位吗？

对于数据分析师的定位：个人认为，成为优秀的数据分析师是非常难的，现在市面上也没有多少优秀的分析师。

我个人对数据分析师的技能要求除了会数据分析、提炼结论、洞察数据背后的原因之外，还需要了解业务，懂算法。只有这样，当面对一个业务问题时，数据分析师们才可以针对问题抽丝剥茧，层层递进去解决问题，再根据定位的问题进行策略的应对，比如是先做上策略进行测试还是应用算法进行优化，用算法用在哪个场景上，能不能用算法来解决问题。

一个优秀的数据分析师，是个精通业务和算法的全能数据科学家，不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。

我们都说分析要给出结论，优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施，同时很多需求是分析师去主动发现并通过数据来挖掘出来的。

从上述描述中，可以看到对数据分析师的要求是：

会写sql拉数据精通业务会数据洞察精通算法主动性强

如果你一直只是忙于应付日常分析需求，热衷于写华丽的报告，那么你要记得，你很危险，因为会有一堆人在那里质疑你存在的价值，特别是小公司。因为数据人员的薪资是个不小的支出。

大部分不落地的分析都是伪分析，有一些探索性的可行性研究可以不考虑落地，但是其他的特定业务需求的分析都需要考虑落地，然后通过实践来反推你的作用，如此反复，才能慢慢的给你价值的肯定，同时提升你的分析技能，也只有这样才能证明你作为分析师、数据落地者的价值。

数据挖掘/算法

这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点：

一个规则搞定了，还用什么算法。你的准确率怎么这么低？！你的准确率可以到 99% 吗？你的推荐有价值吗？你不推荐客人也会下那个产品的订单的。帮我做个大数据预测他想要什么？

很多时候，不同的场景对准确率的要求是不同的，所以在一定合理的场景下和业务进行据理力争是必要，不要害怕让业务吐槽，更多的时候管理�...

2017全国各地高考一本录取率排行榜

结合上表数据，分析如下：

1、一个省的高考难度其实就是录取人数占考生总人数的比例。这个难度主要取决于两个方面，一是所在省份的考生人数多少，如果考生多，竞争就非常激烈，要想进入名校，必须拼了老命；二是录取比例，这才是更要命的，如果大学在某个省份招生人数多，录取比例相对就高，考大学就容易些，考生的机会也更多。

2、高考难度还体现在录取分数线上。同样的试卷，有的省份分数线高，而有的省却创下新低，这种现象是存在的。

决定高招分数线高低的主要因素有两个：一是试卷的难易度，二是高招人数的多少，也就是录取率的高低。对使用同一份试卷的省份来说，第一个影响因素是一样的，不存在难易度的差别。而第二个影响因素则大为不同，如果一个省份的本一录取率远高于兄弟省，那么本一批次录取的人数越多，分数线势必越低。

3、对于全国1卷，湖南分数线为9省中最高，但一本录取率为河南最低。一本线上，文理最高的均是湖南省，最低的均是福建省，其中理科一本线湖南比福建高64分，文科高59分。而在录取率方面，河南省和山西省都不到10%，对比福建省简直少了近一半的录取率。

4、对于全国2卷，吉林分数线为10省中最高，同卷同科分数线，最高与最低相差悬殊。一本线上，理科最高的是吉林，比青海分数线高出了116分；文科最高的是辽宁，比青海考生线高出了96分。

5、对于全国3卷，四川分数线为5省中最高。除了西藏含有较多少数民族考生，这几个省份的一本线相差不是特别大，理科最高的是四川，比最低贵州高出55分，文科最高为云南省比广西高20分。

6、对于自主命题、半自主命题省份，北京的一本录取率最高，达到了30、50%。相比之下，江苏仅12、10%的一本率仅约为北京的1/3，看到这个结果，大家多安慰一下江苏的考生吧。

各省2017高考的难度系数归纳

结合这6点分析，进行综合整理，对全国各省2017高考的难度系数归纳如下：

TOP5

难度系数：★

对应省份：北京、天津、上海、福建

理由分析：这些自主命题和高考改革的省份，试题常常引领趋势、剑走偏锋，录取模式也是独步天下，对考生综合素质要求较高，玩得好就是神，玩不好就是坑。

TOP4

难度系数：★★

对应省份：内蒙古、青海、新疆、西藏、辽宁、黑龙江、吉林

理由分析：西部省区的考生人数不多、试题长期稳定、录取政策也多有优惠，但玩得好的考生不多，但辽宁和陕西的985、211大学数量要比其他中西部省份多，所以考生不出省就有很多选择。

TOP3

难度系数：★★★

对应省份：陕西、山西、贵州、广西、宁夏、甘肃、海南、重庆

理由分析：这些省份的高考分数线通常比较稳定，录取率也位居中游。陕西是高考大省，但好在省内较好的本科院校比较多；其他省份的考生人数较少，考生的选择和回旋余地都比较大。

TOP2

难度系数：★★★★

对应省份：四川、山东、云南、河北、安徽、江西、广东

理由分析：这些省份的考生都是久经考验，应试经验非常全面，各地高中的教育教学模式也有共同之处，有的考生都是努力考到省外尤其是北上广的大学，成了顶尖大学最大的生源基地。

TOP1

难度系数：★★★★★

对应省份：湖南、湖北、河南、江苏、浙江

理由分析：两湖和江苏的考生都属于低调而强大的类型，河南的考生不说自明了，而浙江是新高考的起点，考生尝试了全新的选科、选考、综合素质评定模式，是名副其实的探路者。

数据分析师在工作中会遇到什么难题？

数据分析师，一个名字听起来高大上的职业，其实苦逼程度不亚于代码人员。那么，数据分析师在工作中经常会遇到什么样子的难题呢？

1）数据质量差

作为舆情数据分析师，有时需要向技术提取需求，对符合某个关键词的全网舆情进行爬取。满怀希望地把需求提了出去，但有时数据质量并不如你想的那么完美。譬如。你想分析的是全网渠道分布，但是因为某些原因，最终得到的数据并不符合传统的认知。也就是说，这个维度而言，数据是废的。

这个时候怎么办呢？编么？并不是，这时候你可能就需要重新思考为什么会造成这样的问题，如果说问题没有办法找出的话，那只能找其他维度进行分析，或者找其他数据进行印证分析。

当然，数据质量差并不这么简单，有时数据缺失很严重，有时数据某个维度有歧义等。而这个时候，就需要你一遍又一遍的进行数据清洗。

2）数据需求多变

数据分析师有时接到的需求并不是一成不变的，可能在你分析的过程中，数据需求就会发生变化。好的情况，你可能仅需要修改一点点就可以满足需求。但是更多的是，推到重来，这就相当于浪费了你之前的工作量了。

3）数据得不到有价值的信息

更让人绝望的其实是你分析了多种维度，交叉了各种情况。但，最后发现，得到的结论并不能支撑某些结论，更甚者，还会阻碍你的结论。例如有一次，我想分析SEO的价值比SEM的价值高，但是试过多种维度之后，我惊异的发现SEM的价值反而更高，我当时的内心就是一万只***崩腾而过。

最容易碰到的问题就是自己分析的数据不准确，导致辛苦了半天，分析出来的结果不具备参考价值，甚至都是错误的。

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?相信看完这篇文章，每个人都能找到一个属于自己的答案。以下为从事电力、军工、金融等行业担任数据分析师从业者的多年行业经验，希望能对大家有所帮助。

1、遵循数据分析标准流程

数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

1)业务理解，确定目标、明确分析需求;2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量;3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据;4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型;5)评估模型，对模型进行较为全面的评价，评价结果、重审过程;6)成果部署，分析结果应用。

2、明确数据分析目标

在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

3、业务与数据结合确定分析主题

以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。

4、多种分析方法结合

分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。

5、选择合适的分析工具

工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、Repidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。

它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。Repidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便。

6、分析结论尽量图表化

经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

某企业KPI分析报告

数据分析过程中，除了以上六条原则，还要避免以下3种情况：

1)时间安排不合理

在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。

一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

3)沟通不充分

无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。

对于数据分析师，分析经验的积累与专业知识的提升同样重要，因为有些问题不是只用专业知识就能解决的，所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具，做一个有心人!

End.

来源：MeritData

更多文章可在菜单栏查看

▼

近日，河南、广东、山东等高考大省本科提档数据公布，高分院校表现一如既往的稳定，受考生报考人数影响很小；中低分区大战则十分激烈，不少家长反映，看似稳取的院校，竟然成了冲击目标，仅压线几分录取。录取了就好啊！

今天，我们以山东省录取数据为例，对此前预测会持续走热的一类院校做抽样分析，为下一年报考的考生和家长提供参考，希望对明年报考的考生提供一些有益的帮助和支持。

今年，山东省共有59万多名考生参加考试，选择山东考生统计数据的原因，很简单，山东考生人数多但向来理性。天津大学、山东大学和厦门大学去年在黑龙江出现断档；今年，山东大学在河北文科出现断档，中央财经大学被河南文科考生打入冷宫。

按说平行志愿不该横空出现这么多的“乌龙”，这一点，山东考生是践行得最好的了。“两财一贸”、“中坚九校”排位精准，连新加盟的国防科技大非军籍生录取，也十分客观地反映出其在高校中的地位，不像有的省市忽冷忽热，令考生琢磨不定。至于，出现断档这样的乌龙事件，山东考生史上几乎就没有出现过。

考前，我们就曾做过系统分析：师范类院校将持续走热，录取分数将水涨船高。宏观原因，当然是国家利好政策刺激，教育整个行业稳定向好；再就是山东省教育厅举办了几场师范类院校毕业生招聘会，最夸张的场面是10万岗位，仅仅有6万毕业应聘。这种宣传效果，对师范类院校报考的良性刺激是显而易见的。

北京师范大学在山东省是提前录取，且远超大部分“985”高校的位次和分数，颜值并气质双高，不收录也罢。师范类院校在2018年提档表现是啥样儿呢？一起看一下：

大家看懂了吗？在选取的26所师范类院校中，仅有华中师范大学、南京师范大学、首都师范大学和湖南师范大学等4所院校出现小幅下滑，很大可能是考生“恐高”所致，尤其是前3所院校位置太好。而其他所有院校保持了较大的增长幅度，湖北师范大学甚至涨幅是27000名，相当部分考生报考，基本上是一脚踏空的节奏啊！同时，安徽、河北和云南等3所师范类院校涨幅也达到16000名以上！

大家自己回去好好看看吧，太惊人了！师范类院校报考走热的趋势成立，大家对这个问题怎么看？欢迎在评论区留言讨论。

目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢？答案当然是否定的。

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。

零基础学习大数据一般有以下几步：

了解大数据理论

计算机编程语言学习

大数据相关课程学习

实战项目

一、了解大数据理论

要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。对大数据有一个大概的了解，你才能清楚自己对大数据究竟是否有兴趣，如果对大数据一无所知就开始学习，有可能学着学着发现自己其实不喜欢，这样浪费了时间精力，可能还浪费了金钱。所以如果想要学习大数据，需要先对大数据有一个大概的了解。

二、计算机编程语言的学习。

对于零基础的朋友，一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言，大家都知道计算机编程语言有很多，比如：R，C++，JAVA等等。

目前大多数机构都是教JAVA，我们都知道Java是目前使用最为广泛的网络编程语言之一。他容易学而且很好用，如果你学习过C++语言，你会觉得C++和Java很像，因为Java中许多基本语句的语法和C++一样，像常用的循环语句，控制语句等和C++几乎一样，其实Java和C++是两种完全不同的语言，Java只需理解一些基本的概念，就可以用它编写出适合于各种情况的应用程序。Java略去了运算符重载、多重继承等模糊的概念，C++中许多容易混淆的概念，有的被Java弃之不用了，或者以一种更清楚更容易理解的方式实现，因此Java语言相对是简单的。

在学习Java的时候，我们一般需要学习这些课程： HTML&CSS&JS，java的基础，JDBC与数据库，JSP java web技术， jQuery与AJAX技术，SpringMVC、Mybatis、Hibernate等等。这些课程都能帮助我们更好了解Java，学会运用Java。

三、大数据相关课程的学习

学完了编程语言之后，一般就可以进行大数据部分的课程学习了。一般来说，学习大数据部分的时间比学习Java的时间要短。大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。

四、实战项目

不用多说，学习完任何一门技术，最后的实战训练是最重要的，进行一些实际项目的操作练手，可以帮助我们更好的理解所学的内容，同时对于相关知识也能加强记忆，在今后的运用中，也可以更快的上手，对于相关知识该怎么用也有了经验。科多大数据拥有大量实际的大数据项目的，在大数据课程学习的过程中，老师会穿插很多相关项目进行教学，学员也可以学到任课老师的一些经验和技巧。

一般来说，零基础学习大数据大概就是分为这4个阶段，学习大数据不是件容易的事，但是只要你能多努力，积极地解决自己的疑惑，多练手，相信你一定可以掌握这门技术。

随着大数据在国内的火热，越来越多的开发人员准备入行。但作为外行人员，对大数据的了解并不清晰，不确定自己目前从事的行业、掌握的技能是否能够达到学习大数据的要求。

Hadoop作为大数据行业使用的主要框架，想进入大数据行业学习Hadoop开发是必须的。

说到大数据就不能不先谈谈Hadoop，然而让Hadoop跑起来又是主要的问题，那么先从简单的谈起。

Hadoop框架自身是由Java语言编写，天生支持使用Java语言编写作业。在实际生产环境中也多使用其他语言如Python，此时需呀借助Hadoop自带的一些工具。

Hadoop运行在Linux环境中，想在本地安装Hadoop需要先安装Linux系统。为了节省学习成本我们使用虚拟机在本地电脑模拟多台硬件搭建集群。

应该选择哪种语言进行作业？

Java

Hadoop本身由Java编写，对Java语言支持很好，但使用Java代码写起来非常繁琐冗长。

Python

在大数据的实际生产中，使用Python进行作业开发也非常普遍。Python语法结构清晰、开发迅速、维护成本低是它的优势。

假如使用Python进行作业开发，可借助Hadoop Streaming或者Pydoop。

489034603

具体需要掌握哪些基础技能？

Linux

1、熟练使用linux常用命令及网络配置；

2、熟悉用户以及权限管理操作；

3、熟悉软件包以及系统命令管理；

4、掌握shell编程。

虚拟机

1、虚拟机的安装；

2、linux系统的安装；

3、虚拟机网络的配置。

1、掌握javaSE的基础技能；

2、不需要掌握java Web及各种框架知识。

掌握Python的基础语句、语法、函数等。

对于java和python的选择上，大家根据自身情况或者目标企业使用的语言来选择。

学习Hadoop首先要了解一下这3种搭建方式：单机模式、分布式模式和伪分布式模式，其中伪分布和完全分布要能够熟练掌握。

之后再学习Hadoop生态圈中各个组件的知识，包括MapReduce、Yarn、hdfs、hive、HBase、Flume、sqoop、zookeepe、Mahout等。

当你能完全掌握上述知识技能的时候，也就学会了Hadoop开发。

二、大数据分析的五个基本方面

1、可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2、数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3、预测性分析能力大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4、语义引擎大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5、数据质量和数据管理大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？需要哪些技能？让我们一起来看看吧。

三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

对于这3个职业是如何定位的？

数据科学家是个什么样的存在

数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。

数据工程师是如何定义的

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。他们的核心价值在于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。

数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师该如何理解

数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。

有时一起讨论比独自思考对解决问题更有帮助，现在大数据时代真在渐渐进入大众视野，如果现在你是一名资深IT工作者，如果你是对大数据有着浓厚兴趣，想在将来的大数据时代更好的适应与发展，你可以添加图片下方的群号，提供给大家的仅仅是一条能够更好学习的途径

从先进的BI工具到机器学习，人工智能，现代企业拥有着各式各样整理分析数据的方法和途径。数据科学家和企业领导人都关注着这些新技术的巨大潜力，然而，当我们将焦点放在分析工具身上时，我们也可能忽略了数据本身的重要性。毕竟如果没有正确的数据，视觉化和预测分析也没有任何用处。

每一个企业需要将他们的基础数据进行分析和甄别，在此基础上，对数据进行不同层次和结构的分类。原因如下:

数据深度融入在商业的各个环节

现代企业逐渐意识到，纷繁复杂的数据固然重要，而这些数据是否真的被企业职工运用，并对其工作产生了相关性的影响，才是企业领导所看重的。不同的层级岗位和职位角色都需要做出正确的决策，而良好的决策必须是基于用户数据所提出的。因此，不仅仅是数据科学团队，从产品部门到客户服务部门，再到销售等各个部门都应该获得这些数据资源和信息。

在现代企业中，对数据的处理还仅仅是在每个月的全体会议上查看各项指标还远远不够。组织必须要将数据驱动纳入到决策制定中。以现代营销团队为例。营销人员有大量的丰富的数据可供他们自由支配，尤其是在智能手机，平板电脑，社交媒体平台爆炸式普及的今天，这样，一个品牌可以远距离地与观众互动，并了解顾客的相关信息。如果所有的这些数据被收集到一个中心位置，进行数据分析，那么对客户的长期行为分析并进行消费预判则成为了可能。同样地，根据这样的方法，其他部门，如销售、产品和客户服务部门也能获得前所未有的数据量。

零碎数据共同形成宏观趋势判断

如今，数据在各个行业和企业扮演着越来越重要的角色，企业应该将数据视为机会。每个数据集——CRM、CMS、ERP、营销软件，都包含大量信息和基础数据。现在或许看起来很微小，可是对数据深入的挖掘和分析将会给企业带来巨大的财富。而在现实生活当中，由于不可能预先知道哪些数据很重要，所以企业需要收集尽可能多的数据，这样即使市场环境发生大的改变，企业也能够做出合理的预判和尽可能贴近市场的决策。

基础数据和数据分析同样重要

数据质量是重中之重，倾斜的数据会导致错误的结果。如果你的判断来源于不完整的数据基础，你的决策便会产生一定的偏差甚至产生错误，而这最终将会侵蚀在数据驱动文化背景下人们对数据分析的信心。因此，简洁、完整和正确的数据是有效决策产生的必要前提。

2016年美国总统大选的预测分析，很好地证明了数据质量的重要性。在当时的预测中，大多数数据是基于州级和国家级的电话投票进行的。但是电话调查中很容易出现无人接听的现象，而各州无人接听的占比率也存在着很大的区别，这会很大程度上影响选举团的预测（选举团制度是美国特有的一种选举方式， 选民在大选日投票时，不仅要在总统候选人当中选择，而且要选出代表50个州和华盛顿特区的538名选举人，以组成选举团。当选的选举人必须宣誓在选举团投票时把票投给在该州获胜的候选人。美国总统由选举团选举产生，并非由选民直接选举产生，获得半数以上选举人票者当选总统），结果就是，倾斜的数据产生错误的预测。

如今，机器学习已经受到了大量的炒作。而机器依据大数据分析出来的预判，是否真的能符合事实情况，很大程度上决定于是否拥有坚实的数据基础：一个将数据驱动纳入到组织文化的企业，采集到的简介、完整和正确的数据。”数据驱动”一词已存在多年，但在今天快节奏和迅猛发展的数字经济中，它将成为当代企业的文化使命。