以下是一位在数据分析领域打滚了N年后，写下的一些体会，一定能给新人一些借鉴的地方。（总结的不错，大家可以借鉴学习哦）

一、数据分析师有哪些要求？

　　1、理论要求及对数字的敏感性，包括统计知识、市场研究、模型原理等。

　　2、工具使用，包括挖掘工具、数据库、常用办公软件（excel、PPT、word、脑图）等。

　　3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解，因为数据分析的出发点就是要解决商业的问题，只有理解了商业问题，才能转换成数据分析的问题，从而满足部门的要求。

　　4、汇报和图表展现能力。这是临门一脚，做得再好的分析模型，如果不能很好地展示给领导和客户，成效就大打折扣，也会影响到数据分析师的职业晋升。

二、请把数据分析作为一种能力来培养

　　从广义来说，现在大多数的工作都需要用到分析能力，特别是数据化运营理念深入的今天，像BAT这样的公司强调全员参与数据化运营，所以，把它作为一种能力培训，将会让你终生受益。

三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识：

　　数据分析的四个步骤（这有别于数据挖掘流程：商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署），是从更宏观地展示数据分析的过程：获取数据、处理数据、分析数据、呈现数据。

　　（一） 获取数据

　　获取数据的前提是对商业问题的理解，把商业问题转化成数据问题，要通过现象发现本质，确定从哪些纬度来分析问题，界定问题后，进行数据的采集。此环节，需要数据分析师具备结构化的思维和对商业问题的理解能力。

　　推荐书籍：《金字塔原理》、麦肯锡三部曲：《麦肯锡意识》、《麦肯锡工具》、《麦肯锡方法》

　　工具：思维导图、mindmanager软件

　　（二） 处理数据

　　一个数据分析项目，通常数据处理时间占70%以上，使用先进的工具有利于提升效率，所以尽量学习最新最有效的处理工具，以下介绍的是最传统的，但却很有效率的工具：

　　Excel：日常在做通报、报告和抽样分析中经常用到，其图表功能很强大，处理10万级别的数据很轻松。

　　UltraEdit：文本工具，比TXT工具好用，打开和运行速度都比较快。

　　ACCESS：桌面数据库，主要是用于日常的抽样分析（做全量统计分析，消耗资源和时间较多，通常分析师会随机抽取部分数据进行分析），使用SQL语言，处理100万级别的数据还是很快捷。

　　Orcle、SQL sever：处理千万级别的数据需要用到这两类数据库。

　　当然，在自己能力和时间允许的情况下，学习新流行的分布式数据库及提升自身的编程能力，对未来的职业发展也有很大帮助。

　　分析软件主要推荐：

　　SPSS系列：老牌的统计分析软件，SPSS Statistics（偏统计功能、市场研究）、SPSS Modeler（偏数据挖掘），不用编程，易学。

　　SAS：老牌经典挖掘软件，需要编程。

　　R：开源软件，新流行，对非结构化数据处理效率上更高，需编程。

　　随着文本挖掘技术进一步发展，对非结构化数据的分析需求也越来越大，需要进一步关注文本挖掘工具的使用。

　　（三） 分析数据

　　分析数据，需要用到各类的模型，包括关联规则、聚类、分类、预测模型等，其中一个最重要的思想是对比，任何的数据需要在参照系下进行对比，结论才有意义。

　　推荐的书籍：

　　1、《数据挖掘与数据化运营实战，思路、方法、技巧与应用》，卢辉着，机械出版社。这本书是近年国内写得最好的，务必把它当作圣经一样来读。

　　2、《谁说菜鸟不会数据分析（入门篇）》和《谁说菜鸟不会数据分析（工具篇）》，张文霖等编着。属于入门级的书，适合初学者。

　　3、《统计学》第五版，贾俊平等编着，中国人民大学出版社。比较好的一本统计学的书。

　　4、《数据挖掘导论》完整版，[美]Pang-Ning Tan等着，范明等翻译，人民邮电出版社。

　　5、《数据挖掘概念与技术》，Jiawei Han等着，范明等翻译，机械工业出版社。这本书相对难一些。

　　6、《市场研究定量分析方法与应用》，简明等编着，中国人民大学出版社。

　　7、《问卷统计分析实务—SPSS操作与应用》，吴明隆着，重庆大学出版社。在市场调查领域比较出名的一本书，对问卷调查数据分析讲解比较详细。

（四） 呈现数据

　　该部分需要把数据结果进行有效的呈现和演讲汇报，需要用到金字塔原理、图表及PPT、word的呈现，培养良好的演讲能力。

　　推荐书籍：

　　1、《说服力让你的PPT会说话》，张志等编着，人民邮电出版社。

　　2、《别告诉我你懂ppt》加强版，李治着，北京大学出版社。

　　3、《用图表说话》，基恩。泽拉兹尼着，马晓路等翻译，清华大学出版社。

　　（五） 其他的知识结构

　　数据分析师除了具备数学知识外，还要具备市场研究、营销管理、心理学、行为学、产品运营、互联网、大数据等方面的知识，需要构建完整广泛的知识体系，才能支撑解决日常遇到的不同类型的商业问题。

　　推荐书籍：

　　1、《消费者行为学》第10版，希夫曼等人着，江林等翻译，中国人民大学出版社，现在应该更新到更高的版本。

　　2、《怪诞行为学》升级版，艾瑞里着，赵德亮等翻译，中信出版社

　　3、《营销管理》，科特勒等着，梅清豪翻译，格致出版社和上海人民出版社联合出版

　　4、《互联网思维—独孤九剑》，赵大伟主编，机械出版社

　　5、《大数据时代—生活、工作与思维的大变革》，舍恩伯格等着，周涛等翻译，浙江人民出版社

四、关于数据分析师的职业发展：

　　1、数据分析师通常分两类，分工不同，但各有优势。

　　一类是在专门的挖掘团队里面从事数据挖掘和分析工作的。如果你能在这类专业团队学习成长，那是幸运的，但进入这类团队的门槛较高，需要扎实的数据挖掘知识、挖掘工具应用经验和编程能力。该类分析师更偏向技术线条，未来的职业通道可能走专家的技术路线。

　　另一类是下沉到各业务团队或者运营部门的数据分析师，成为业务团队的一员。他们工作是支撑业务运营，包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等。该类型分析师偏向产品和运营，可以转向做运营和产品。

　　2、数据分析师的理想行业在互联网，但条条大道通罗马，走合适你的路线。

　　从行业的角度来看：

　　1）互联网行业是数据分析应用最广的行业，其中的电商企业，更是目前最火的，而且企业也更重视数据分析的价值，是数据分析师理想的成长平台。

　　2）其次是咨询公司（比如专门的数据挖掘公司Teradata、尼尔森等市场研究公司），他们需要数据分析人才，而且相对来说，数据分析师在咨询公司成长的速度更快，专业也会更全面。

　　3）再次是金融行业，比如银行和证券等行业，该行业对数据分析的依赖需求，越来越大。

　　4）最后是电信行业（中国移动、联通和电信），它们拥有海量的数据，在严峻的竞争下，也越来越重视数据分析，但进入这些公司的门槛比较高。

五、什么人适合学习数据分析？

　　这个问题的答案跟“什么人适合学功夫”一样，毫无疑问，功夫是适合任何人学习的（排除心术不正的人），因为能够强身健体。而功夫的成效，要看习武者的修炼深浅。常常有人争论，是咏春拳厉害，还是散打厉害，其实是颠倒了因果，应该看哪个人练习得比较好，流派之间没有高低，只有人修炼的厚薄。

　　实际上，问题的潜台词是“什么人学习数据分析，会更容易取得成功（比如职业成功）”，这个要视乎你的兴趣、付出和机遇。但要做到出类拔萃，除了上面三点，还需要一点天赋，这里的机遇是指你遇到的职业发展平台、商业环境、导师和同事。

　　借用管理大师德鲁克的话“管理是可以习得的”，管理并非是天生的，而数据分析能力，也可以后天提升。或许做到优秀，只需要你更加的努力+兴趣，而这个努力的过程，也包括你寻找机遇的部分。

六、关于如何学习：

　　学习方法千万种，关键是找到适合自己的，最好能够结合你的工作遇到的问题来学习。

　　1、搜集书籍、案例库和视频，先弄懂理论，然后学会软件操作，自己制作属于自己的教程。

　　比如，你学习聚类分析模型。1）搜集相关的聚类分析模型的书籍、案例和教学视频，了解聚类分析的原理，主要有哪几种算法（划分、层次、密度、网格）、模型适用的范围和前提、如何评估模型的精确度等。

　　2）自己学会用软件来实现。

　　3）总结整理成一份PPT和制作操作视频，成为自己的学习教程，不断完善。

　　4）学习到一定程度后，可以在博客、微信等渠道分享，授人与渔，而自己也会有所收获。

　　2、关注名人、名博、网站，多渠道学习。

　　1）关注专业的数据分析、咨询公司网站和论坛，特别强调，统计软件公司的网站如SPSS的官网有很多案例库，值得关注。

　　SPSS的案例库，可在官网上搜索各类案例：http://ibm/developerwork … 8zhangzy/index.html

　　另外，你最好建一个自己的网址导航目录，提升你的学习效率

　　2）关注名人名博，最好能加他们的微博、微信和微信公众号，看牛人的博客和微信等内容，还是能得到很多引导，这个你懂的。

　　3）加入一些有共同爱好的QQ群，互相学习交流。通常群里有人会提出一些真实的运营问题，然后大家用不同的方法去解决，对思路很有启发。

　　4）碎片化学习，最大化你的时间价值。为了把零散的时间利用起来，通常我会把一些资料上载到网盘，在零碎的时间里通过手机进行视频、文档学习等。目前使用百度云盘和360网盘。百度云盘应用比较广，通常在网络上搜索“关键词+百度云”后，搜到结果可以直接保存在云盘上，搜索保存速度极大提升。360网盘则空间比较大，可以到达40T，同时有保险箱加密功能，安全性高一些。

　　手机上安装一些APP，随时随地学习。

七、最后的建议

　　请再次问问自己，是否真的喜欢数据分析，能否忍受处理数据时的寂寞？如果是，那就开始学习，给你几条建议。

　　1、把数据分析作为一种能力培养，让自己在现在的团队中展现出良好的数据分析能力，为你以后内部转岗做好准备。如果内部转岗不成，你可以考虑跳槽到我之前分析的行业中，但我强烈建议你还是需要把系统开发的编程能力学习好，并且对商业智能系统（BI和CRM）有一定了解，这也许是应聘数据分析的优势。如果没有数据分析经验去应聘，相对会难一些，用人单位会考你统计和数据挖掘模型方面的知识，以及工具使用情况。

　　2、在公司里找一些有共同爱好的同事一起学习数据分析，平时多请教数据分析做得好的同事，它山之石，可以攻玉。

　　3、扎实学好一、两门数据挖掘软件，基于你有编程的基础，建议你可以学SAS或者R，同时辅助学习SPSS Modeler。如果没编程基础或者希望短期能够取得成效，那也可以先学习SPSS。SAS+SPSS，基本能够满足很大部分企业的需求，三者都会，那更好。

　　4、要了解公司是如何运营，产品是如何开发的，如何做客户研究锁定客户需求，如何做产品营销，这些需要不断工作积累和广泛的阅读。

　　5、开始学习时，先读几本有趣的数据分析类的书，然后系统学习一下统计知识（建议教材用《统计学》第五版，贾俊平等编着），接着网上快速搜集软件操作视频和案例，然后逐个分析模型进行学习和总结归纳，学习最好能够结合实际工作中的问题进行。

　　6、学习到一定程度时，参加一些数据分析师的职业认证，进一步梳理知识结构，同时认识一些志同道合的朋友和老师，也是对你有很大帮助。

　　希望你能够成为你想成为的人！

End.

来源：36大数据

先介绍日报的自动化。一般日报都较为简单，主要是通报企业运营的一些关键指标的完成情况，通报的指标、内容都基本固定，所以可以把日报模板化、自动化。日常工作中，制作日报的流程大致是这样的：首先、登录公司数据库提取数据，并复制到Excel中进行相应的处理及绘制图表，然后再把绘制好的图标复制到Word文档中，编辑通报正文，最后以邮件正文的形式发出。其实这样一个过程可以完全实现模板化、自动化。

Excel日报自动化原理如下：

通过VBA语句，从数据库自动提取前一日相应的关键指标数据，并自动追加到一张名为“数据源”表中的对应位置，实现一键自动提取数据；在数据转化区中，根据指定的日期条件，动态引用“数据源”表中的相应数据，并自动绘制图表、组合通报文字；在日报正文区中，引用相应的组合好的通报文字与绘制的图表；通过控件选择需要通报的日期，并自动生成相对应日期的日报文字。

下面以“用户明细”、“订购明细”表作为日报数据源，介绍Excel日报自动化的实现。

1、确定报告的分析框架。不论是专题分析报告，还是月报、周报、日报，每份报告都需要有层次清晰的分析框架，以便读者一目了然、正确、快速地理解报告内容。可以使用之前介绍的“5W2H分析法”确定思路、搭建分析框架。

2、建立数据模板。一个良好的数据规划习惯，不仅可以令数据井井有条，而且能降低数据处理的复杂程度，节约数据处理时间，提高工作效率。建立数据模板、实现Excel日报自动化，需要准备三张表：

“数据源”表：用于存放每日通报所需的关键指标数据；“数据转化“表：用于动态引用”shujuyuan “表中的相应数据，并进行相应的数据转化，最后自动绘制图表，组合通报文字。”日报正文“表：根据分析框架，组织引用”数据转化“表中相应的组合好的通报文字与绘制好的图表，并呈现日报。

首先，建立日报所需的”数据源“表，把日报需要通报的关键指标都整理进来，如图：

接着，建立”数据转化“表。这张表用于动态引用”数据源“表中相应的数据，并自动绘制图表，同时进行相应的数据转化、以及通报文字的自动组合。通常情况下，”数据转化“表主要有图表数据区、柱形图、通报数据区、通报数据转化区、通报正文区、日期下拉控制控件六大要素组成，进一步可归纳为控件、图表、文字通报三大类。

2.1、控件控制

在【开发工具】选项卡中，插入【表单控件】中的【组合框】，通过拖拽可绘制出一个下拉框。右击【设置控件格式】，设置

”数据源区域“为”数据源!$B$5:$B$126“，设置”单元格链接“为”数据转化!$F$2“，这样，”数据源“表中的所有日期，都可以在下拉组件中显示出来。

2.2、数据动态引用

用鼠标选中”数据转换“表中A3：E6单元格区域，单击【fx】插入函数OFFSET

OFFSET函数以指定的引用为参照系，通过给定偏移量得到新的引用，返回的引用可以是一个单元格或单元格区域，并且可以指定返回的行数或列数。在函数对话框中，进行以下设置：

设置完函数参数后，按【Ctrl+Shift+Enter】组合键，即可得到根据空间输出数值调用的数据区域。

2.3、文字通报组合

图表数据动态引用以及图表绘制完成后，接下来需要组合通报文字了。我们需要准备”通报数据区“、”通报数据转化区“、”通报正文区“三个数据区域。

”通报数据区“与”图表数据区“作用类似，就是实现根据控件所输出的数值去引用相应的数据；”通报数据转化区“就是将”通报数据区“转化为所需要的文本格式，并在各数据之间插入相应的连接词语，以便下一步进行文字的连接组合；”通报正文区“就是将”通报数据转化区“已转化好的数据连接词语，一次连接组合起来，形成一段完整的通报征文。

通报数据区的数据引用和设置如下：

当日、昨日数据可分别直接引用”图表数据区“B6:E6、B5:E5的数据；环比数据可通过公式”当日/昨日*100%“计算得到；累计数据则需要采用VLOOKUP函数根据控件输出的数值，从”数据源“表匹配相应的数据，匹配公式为：=VLOOKUP（$F$2+3,数据源!A:H,8,0）。其他累计公式以此类推。

通报数据转化区的关键，就是数据的文本转化：

根据数值大小，将的那个日、累计数据转化为带有相应单位的文本数据。例如，订购用户数28284转化为订购用户数2.8万，可采用TEXT函数；将环比数据进行文本转化，需要先对环比数据取绝对值，然后再进行文本转化：”=TEXT(ABS(L4),"0.0%")“;用if函数对环比数据进行判断，根据结果相应赋予”上升、下降、持平“的文字，例如”=IF(L4>0,"上升",IF(L4在各个转化后的文本数据之间加入连接词语，为下一步通报征文连接组合做准备，使其形成一句完整的通报正文。

通报正文区就是将”通报数据转化区“已转化好的文本数据及连接词语，以此连接组合起来，形成一句完整的通报正文，我们可以采用CONCATENATE文本连接函数或者”&“文本连接符进行连接，如果需要连接的单元格较多时，建议采用CONCATENATE文本连接函数，这样做简单方便会计，不易出错。

3、建立”通报正文“表。整理好”数据源“表与”数据转化“表后，接下来就需要把每条通报征文与图表一一对应起来，按事先拟定的分析框架进行整理。

新建一张工作表，并命名为”日报正文“；在A1单元格处输入通报标题，合并A1：H1单元格，并设置字体大小及排版大小；添加日期下拉输入空间，可直接复制”数据转化“表中已设置好的下拉控件；输入、设置通报正文，例如在B4单元格输入”一、用户规模“，在B5单元格输入”=数据转化!I18“，将新增用户数柱形图复制到B5单元格所在的行的下方，图表数据会随原图表数据的更新而更新，其他正文的设置也如此；可隐藏通报正文范围外无须用到的单元格区域，例如要隐藏I列及其以后的列，那么用鼠标选中I列，同时按下【Ctrl+Shift+左箭头】，并单击鼠标右键，选中隐藏即可；如果希望隐藏行、列标题，可通过【文件】-【选项】-【高级】,找到【显示行和列标题】的复选框，去除勾选即可。

最后效果如下：

如果有一张上千行的销售表，像下图（各个地区按天统计的1至12月的物品销量），要统计每个月，每个地区的数据，当看到上千行的数据，是不是发愁无从下手呢，利用数据透视表，轻松搞定。

1、选中数据表中任意单元格，点击工具栏插入——数据透视表。弹出创建透视表对话框，点击确定。

2、在右边数据透视表字段对话框添加字段，这里勾选订购日期、地区、分类、销售额和成本。字段勾选根据数据分析的要求勾选。

勾选后，左边单元格会生成下图所示数据表。

3、但是日期是按天来统计，我们需要的是按月统计，选中行标签统计的某一天的单元格，例如2015/1/24，右键创建组，在组合对话框中，选择月，确定。

4、确定后生成下图所示的统计表，但是原始数据没有统计利润，这里我们为了说明问题，我们简单统计利润。

5、增加字段，统计利润，假设利润为销售额减去成本，点击数据透视表工具的分析菜单选项。

6、点击字段、项目和集——计算字段。

7、在插入计算字段对话框中，名称填写利润，公式填写=销售额-利润，确定。

8、则上千行的数据按月份统计完成。

这里只是数据透视表的基本用法，数据透视表还可以排序、筛选，还可以转换称图表，还有很多更强大用途。

作为产品经理，开发新产品或者进行产品迭代升级都不能闭门造车，既然如此，眼观四路耳听八方、随时准确抓取市场需求变化及产品发展趋势就成为产品经理必备之日常工作技能。为了get到以上技能，从宏观角度来讲，需要随时关注各种二手资讯，尽量与世界变化步调一致；从微观来讲，需要通过多种方式随时与用户保持即使沟通，进一步多维度验证二手资讯的可靠度，并据此激发创意思维，提炼打造出让用户尖叫的亮点功能。

今天上午圆满地递交了3D打印竞品分析报告，今天下午则干了一件大事，把已知的二手信息渠道梳理了一遍，并且还新get了一个渠道——免费下载如艾瑞咨询报告等的途径。

成果展示

1、世界顶尖市场调研公司——6家

定期发布市场调研分析报告，可据此掌握行业大趋势。

2、权威咨询公司——24家

定期发布市场分析报告、解决方案等，有了市场调研公司提供的策略，还有咨询公司提供的方法论。

3、免费资讯新渠道——1个

链接： http://istock.jrj/yanbao_3.html ，无须注册，即可下载。。。以下截图全为刚刚下载的完整报告：

31个二手资讯渠道，每天花半个小时快速关注人工智能领域的最新资讯，那么不管是向老大汇报工作，还是每周输出行业报告，甚至是和朋友的聊天，基本上通通可以一键搞定。。。

而关于一手资讯渠道，捷径就是参加几个行业内含金量高的峰会、研讨会、论坛，认识几个厉害的大佬，随时关注大佬朋友圈等各种动态，同时不断学习、与大佬俱进，一段时间的“按图索骥、寻根究底”后，你就会进入行业内部高含金量圈子（微信群、论坛、QQ群等）。。。成为圈内人，随时跟进行业最新动态以及洞悉大佬最新想法。。。同时由于专业能力的提升，逐步从行业发言权到拥有行业话语权。。。个人行业影响力可逐步养成。。。

总结

1、项目信息搜集时间合理规划

以后接到新的case，花20%的时间通过以上渠道梳理一遍相关信息，80%的基本工作就差不多了。剩下的80%的时间，用来和用户沟通得到一手信息，同时验证二手信息的准确度，创造出令人惊艳的20%亮点。。。

2、选择合适的资料存储形式

所有的文件资料，都应该按照他们本该有的样子进行存储。

性格极端如我，一旦新get了一个工具，那我常常会花一段时间，将所有的资料都进行重新的整理。。。最开始我的工作资料全部都会形成word形式保存下来。。。一年以后，再也不想去翻一个超大word里面的工作总结、工作计划、工作记录。。。

偶然间突发奇想——Excel一个格子可以存储极多数据，且有多个维度，可以记录多条数据。。。红色性格如我，立即着手，花了可能一个月的非工作时间，我把过去1年多的word资料全部形成了一个Excel。。。包括各种总结、心得。。。现在也懒得回过头去翻了。。。

其他的各种资讯更是将我淹没在了data里。。。

经过这几年的痛彻心扉的实践与锻炼，现在终于开始放过自己，所有的思路全部都用思维导图来梳理。。。所有的反思、心得都用word来记录。。。所有的数据都用表格来分析。。。所有的资讯渠道都用浏览器标签来分门别类。。。

因为经常要通过GFK捷孚凯来了解消费者调查最新结果，以前我常把GFK的网站链接保存在word、Excel、PPT里面（我有各种形式的文档为证

），每次需要的时候，要不就是通过百度来搜索，忘记名字的小众网站，每次都要手动先打开word/Excel/PPT等文件→复制链接→打开浏览器→粘贴到浏览器→进入链接。。。

现在，直接通过浏览器将网站分门别类地保存为标签形式，如果有的时候太忙，再定期进行整理，任何时候有需要都可以直接打开浏览器、快速定位光标到相应地方、一键进入网站专属页面。。。省时省力又省心。。。足足节约了3个动作。。。至少节约60%的时间。。。真可谓人生一壮举。。。

正如“垃圾都是放错了位置的资源”一样，过去的我就是放错了位置的人工智能产品经理。。。我不当产品经理，谁来当呀。。。

3、选择合适的信息加工输出方式

所有人都认为我读过无数的书（除了我闺蜜）。。。

所有人都愿意承认我是“茶壶里煮饺子——有嘴倒（道）不出”。。。语言能力尚需提升。。。

除了锻炼少了，最近的时间让我我发现，最重要的一环在于我信息接收后的加工、输出方式需要优化。。。

过去往往是看过就过。。。

但自从和闺蜜就此进行过多维度一针见血的沟通后，最近开始从实质上提升系统思维能力——每天画一幅思维导图。。。成效颇好。。。

结合老大对我昨天提交的3D打印竞品分析报告初稿以及今天午后提交的提升版的各种点评（初稿：PPT不如你做的Excel表格有含金量；提升版：稍微再修饰一下就可以直接发给终极boss了），我瞬间醍醐灌顶：我并不是没有能力做好一件事情。。。以后所有经手、经脑、经心过的东西，换种输出方式即可。。。

所以，以后所有关于产品的的数据，全部按照我的竞品分析报告模板进行分析、整理、完善、更新。。。

所有关于产品应用场景和技术的数据、思路，通过流程图Visio、原型图Axure等进行整理、输出。。。一方面让自己全部具象化、印象深刻，另一方面为后续的成果随时输出做好充分准备。。。

老是只有输入。。。没有输出。。。迟早淹没掉自己。。。反正过去五年，在我看来，我算是完全被淹没了。。。未来要浮出水面。。。扬帆启航。。。

前因

身为一个既有洁癖又有强迫症的处女座，24K特别纯的极端暴走处女座，以上收纳、规整革命的爆发，我绝对不会告诉你最大的刺激是我新近换了一台笔记本。。。

一年的足球联赛结束了，

某记者很有心地将该赛季所有球队各场比赛的进球数与失球数分别相加，

得出了两个总和。

在掌握了充分的事实依据以后，

记者评论道：

本赛季各队总进球数比上赛季增加了，说明各队的进攻能力有了一定的提高，

但是很不幸，

本赛季各队的总失球数也增加了，而且恰好与总进球数一样，

说明各队的防守能力还有待提高……

小结

什么是用数据说话，这个笑话就是典型的反面案例。对比或比较是数据分析常见的手段，数据在比较之下，才能明确它的位置，走向。而对比的关键则是控制环境变量，然后按照不同属性或者维度进行合理比较，从而得出一个结论。

大数据是一个非常好的发展方向。科学的数据统计与分析上至国家、企业，下至个人，都能提供出莫大的帮助，“不怕乱如麻，只怕不调查”数据是反馈一个集体或者个人以往表现最有力的证明。沧桑话巨变，数据铸辉煌。数据能力的强弱也能决定发展方向是否客观真实，决定了未来的可能成就。本文主要讲述数据分析等级是根据哪些方面划分的以及数据分析的日常工作。

1、数据分析师的日常工作内容是什么？

数据分析师这个职位，不同的公司，不同的行业，对于它的理解和工作内容都有所不同。在有些传统行业，数据分析师工作重点是做行业报告等；在阿里巴巴等大型互联网公司，职位区分比较明确，数据分析师大部分时间只做产品和运营的分析工作，至于基础数据处理、搭建数据产品等等不涉及;在创业公司等相对小型公司，数据分析师要干的活可能要不仅仅是产品和运营分析，基础数据采集和处理，数据产品搭建都属于数据分析师的工作范围。

明确了数据分析师的工作范围，大概也就清楚了每天要做些什么，比如：

产品和运营的数据提供(正常分析师工作)

基础数据采集和处理(类似ETL工作)

数据产品的思考和搭建(类似数据产品经理工作)

数据价值的挖掘(类似数据挖掘工程师工作)

2、数据分析师需要会什么？

①、数据分析理论要求及对数字的敏感性，包括统计学知识、市场研究、模型原理等。

②、工具使用，包括挖掘工具、数据库、常用办公软件（excel、PPT、VBA、word、脑图）等。

③、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解，因为数据分析的出发点就是要解决商业的问题，只有理解了商业问题，才能转换成数据分析的问题，从而满足部门的要求。

④、汇报和图表展现能力。这是临门一脚，做得再好的分析模型，如果不能很好地展示给领导和客户，成效就大打折扣，也会影响到数据分析师的职业晋升。

3、数据分析师的成长阶段

①第一阶段（一般岗位叫数据专员）

基本学会excel（VBA最好学会；会做透视表；熟练用筛选、排序、公式），做好PPT。这样很多传统公司的数据专员已经可以做了

②第二阶段

这一阶段要会SQL，懂业务，加上第一阶段的那些东西。大多数传统公司和互联网小运营、产品团队够用了。

③第三阶段（数据分析师）

统计学熟练（回归、假设检验、时间序列、简单蒙特卡罗），可视化，PPT和excel一定要溜。这些技术就够了，能应付大多数传统公司业务和互联网业务。

④第四阶段（分裂）

数据分析师（数据科学家）、BI等：这部分一般是精进统计学，熟悉业务，机器学习会使用（调参+选模型+优化），取数、ETL、可视化啥的都是基本姿态。

4.数据分析师就业方向

数据分析师 – 偏向商业化的数据分析，运营广告等活动效果分析，销售额或利润预测，用户特征描述等，需要较好的统计知识，需要懂1-2门数据分析工具如SAS、R等；

咨询顾问 – 面向客户，为客户提供数据抓取、数据分析、出数据报表、改进建议落实等咨询服务，需要有较好的沟通能力，需要懂1-2门数据分析工具如SAS、R等（咨询顾问其实也分技术和非技术，技术类的主要是为客户搭建数据平台）

数据产品经理 – 一般是互联网公司独有，数据量大的公司会有自己的数据产品，如阿里巴巴的数据魔方等，主要是针对数据产品从产品立项、提开发需求、跟进产品开发、测试一直到产品上线等工作（相对来说并不需要对从业者要求很高的数据分析或统计能力，属于目前市场上为数不多但高工资的职位）

Word 是非常强大的文档编辑工具，一些行业制式文档都是使用Word来创建的，像教育行业的申请表，履历表，审批表等，像石油业的勘探记录表，记录报告，检测报告等，如房地产业的制式合同，不仅包含大量的文字描述，还会嵌入图片，表格等一些数据控件。

我们通常选择使用 Word 来创建这些文档，因为它有着极强的图文混排的能力能够实现集图表，表格，图片等组成的一个混合布局的复杂报表。但使用Word越是创建这些复杂的结构，越需要耗费过多的时间来“画”出这些复杂的样式， 且所有的数据都需要手动输入，无法与业务数据连接，所以更新也会更加困难。

在现代 BI 系统中绝不容忍如此低效，且非实时性的数据分析，因此我们必须寻求与时俱进的现代化数据分析工具，以助于高效的创建数据分析汇总的报表项。葡萄城报表可以很好的解决类Word文档类的报表创建，可快速创建复杂的图文混排样式，而且能够实时的进行数据更新。

（一）类Word文档类报表特点

1.1大量原始数据展示

这些数据往往存储在业务数据库中，但使用Word创建，将所需要看到的数据，手动输入对应的单元格当中，或是由多人维护更新，这样无法导致数据同步更新，而且容易出错。

1.2图文混排

多个表格、图片、富文本、图表等组成一个混合布局的复杂报表，这些制式文档通常都包含既定的行业规范，所以对于排版要求非常严苛，因此需要按照既定的规范，来‘画’出复杂的样式，这样创建文档的难度又提高，也是十分低效的做法。

1.3多页结构

特殊的首页和尾页要求，Word文档类报表较大的时候都有多页的结构，而且对于这些页都有不同的要求和规格。如：

封皮:单面数据，常包含报告的基本信息，如报表名称，报告编号，单位名称，Logo 信息，条码信息等

详细数据：多页详细数据，主要由不同结构的数据组成，常包含，页眉\页脚信息，详细数据区域。不同页对应的数据结构不一致。传统Word表格样式，详细数据部分，内容格式都不固定，没有规律，行列数量不固定，行高列宽不固定。内容项目为非固定格式，根据实际数据，动态选择内容呈现格式，多种布局并存。

结尾声明:文档类的尾部一般包含文档声明、总结等信息，常以大量文本输出为主，不同内容格式也是大有不同，葡萄城报表支持在同一页报表中，显示多种格式的文本内容。

首页和尾页的页眉页脚可单独控制：Word文档，在首页和尾页中不需要添加页眉，也不需要显示页号，只需要在内容页显示页眉。

动态加载图片和调整图片数量

传统的Word表格样式，左边标题，右边内容项

动态生成详细数据

1.4新型数据展示控件

现有的各行业报表为了更加信息化，现代化，因此会在报表中添加一些新型数据控件，如物流业常用的条码，插入特殊格式的文本等，所以在类Word文档类报表中通常存在一些特殊的字符或控件的输入和展示。

葡萄城报表提供了Barcode控件，该控件支持37中条码格式，其中包括：QRCode(二维码)、Code39码、Codabar码、Code25码、ITF25码、Matrix25码、UPC-A码、UPC-E码、EAN-13码、EAN-8码等一维条码和PDF417等二维条码。条码呈现是一方面，在实际项目中条码扫描是非常重要的，因此葡萄城报表不仅支持条码呈现，在条码打印和导出也是非常精准的。

（二）创建类Word文档类报表

通常Word创建的文档有多种样式的数据呈现形式，多个表格、图片、富文本、图表等组成一个混合布局的复杂报表，同时支持多数据源绑定，每个组成部分可以有自己的独立数据源。这类报表因为信息量和数据量巨大，因此有一些非常特殊的报表需求，比如：首页/尾页不显示页面/页脚、表格跨页显示时标题行需要在每页重复显示便于查看数据、支持多张图片显示等。而这些复杂的报表需求，恰好是葡萄城报表非常强大功能所在。

类Word 报表，可以简单理解为所有使用Word制作的复杂表格，文案，合同类，履历类的文档，都以报表的形式呈现出来。以呈现多层结构信息为主，有严格的格式要求。类Word报表通常包含多个模块显示信息。模块之间结构和数据各有不同，对于页眉和页脚内容也有严格的要求等文档类的需求。

接下来我们就来展示使用葡萄城报表创建档案类报表，档案类报表常见于人员管理系统，这一类报表常包含个人基本信息介绍，经历信息，评价，结论等信息。该类报表的特点： 标题在左，右边为内容；每项内容单元格的样式都是有严格要求的，通常报表的上半部分信息密集，下半部分为大量的数据填报信息，因此占用空间比较大。该类报表通常有固定的页数。

2.1 报表原型

档案类报表通常包含如下模块：基本信息，职务信息，主要经历，审批信息，接下来我们来演示如何使用葡萄城报表矩表控件来创建

2.2 报表结构分析

1.左侧为标题，右侧为内容

2. 内嵌图片控件

3. 详细信息高度不一致

4. 跨行单元格合并

2.3 实现思路

1. 使用矩表控件

2. 添加多级静态列

3. 跨行单元格合并

2.4报表实现

1.新建RDL 报表模板

2. 添加数据源和数据集

3. 添加矩表控件

4. 删除分组单元格

4.1 因为不涉及动态列，首先需要删除列分组和行分组单元格。

删除 行分组；并设置该行Size 的Width 属性为0

4.2 删除列分组

右键单击列分组单元格，选择“列分组”-》“删除分组”；

并设置该列Size 的Width 属性为0

5. 构造基本信息模块

5.1 插入静态列

右键选中TextBox1 插入列，右侧；（重复执行7次）

效果图：

5.2 插入静态行

右键选中 TextBox1插入行，下方;(重复执行6次)

效果图：

5.3 输入项标题

效果图：

5.4 合并单元格

6. 添加模块

6.1 选中“学历学位”单元格，插入行（执行三次），输入职务信息。

7. 添加详细信息模块

该模块每个内容项对应一行内容，显示大量的文本；因此需要进行单元格合并，设置足够的行高；

7.1 添加静态行

选择“拟免职务”，选择“插入行”-》“下方”（执行6次）

效果：

7.2 合并单元格

8. 调整样式

9. 最终运行效果

转载请注明出自：葡萄城报表

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

工欲善其事，必先利其器。想要成为一名优秀的数据分析师，一款顺手的数据分析工具是必不可少的。下面为大家推荐几款数据分析工具

Excel

让我们一起面对它吧，即使在高水平语言辈出的年代，Excel工具仍旧被很多人所认可。调查发现59%的数据科学家和分析师使用 Excel 工具，这个数据几乎年年如此，少有变化。Excel 是经过检验的可靠的数据分析工具，它广泛存在，非程序人员也能便捷操作，所以大多数企业即使也使用其他工具，但 Excel 工具还是他们的不二选择。

R语言

R语言主要适用于EDA（探索性数据分析），也就是你与数据之间的对话，是通过作图来找寻单变量，双变量或者多变量之间的关系，进而发现其相关性。

他的学习也不是很难，掌握了基本操作，要掌握核心的几个包（package），然后经常性的练习，善于借助帮助文档，所谓熟能生巧，就是这个道理。

Python

人生苦短，我用Python。

Python语言是一门功能非常强大，实用型非常强的语言，Web编程，网络爬虫。

数据分析自然少不了要掌握pandas和numpy两个包，如果用到数据可视化（后面会讲到），肯定要用matplotlib包，这三个包基本上就是Python进行数据分析的半壁江山以上了，好好掌握，不能将就。

Google Refine

Google Refine。用户在电脑上运行这个应用程序后就可以通过浏览器访问之。这个东西的主要功能是帮用户整理数据，接下来的演示视频效果非常好：用户下载了一个 CSV 文件，但是同一个栏中的同一个属性有多种写法：全称，缩写，后面加了空格的，单数复数格式不一的。。。但是这些其实都代表了同一个属性，Google Refine 的作用就是帮你把这些不规范的写法迅速统一起来。

Gephi

Gephi是进行社会图谱数据可视化分析的工具，不但能处理大规模数据集并且Gephi是一个可视化的网络探索平台，用于构建动态的、分层的数据图表。

Wordart

Wordart操作简单。可以分析文本，上传excel，还有分析URL，需要注意的是网站本身没有中文字体，需要先自行添加中文字体，然后再生成词云。Wordart最受欢迎的地方就是词云的字体，配色，图形都支持自定义，生成的图看起来非常高上大。另外做好的图可以分享和下载，但是词频不能下载。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...