万事开头难，但是一旦数据分析有了动力，就要开始完善自己的知识体系，这也是真正入门的开端。那如何完善数据分析的知识体系？

1、基本的计算机知识和统计知识

数据库 + SQL 语言

一些常用的数据库如 Oracle、SQL Sever、DB2、MySQL，这些数据库或者说日常接触的数据库都要有所了解，懂最常用的就好，最重要的还是要会写 SQL。

数学 / 统计学知识

一些基本的数学统计方法如描述性统计、多元统计分析、回归分析等，重要性不言而喻。

数据挖掘知识：方差分析、回归分析、因子分析、聚类分析等等。这些东西作为入门多多少少都要会一些，虽然有可能不会全用到，但一旦用时方恨少。而且也可以作为未来发展的基础

数据分析可视工具

数据分析可视化工具很宽泛。首推 Excel，中小公司很依赖，熟练使用数据透视表，这是必备技能。中大型公司都是用报表工具或者 BI 来做报表，但有了 SQL+Excel 的基础，这些工具上手都很快。

2、业务知识

数据分析师要与公司的各业务打交道，所以对于各部门的业务知识要有深入的了解。某业务领导需要知道某个指标，你需要知道这个指标由哪些数据构成? 数据统计的口径是什么？数据怎么取出来？这个指标对于行业的意义是什么，处于什么范围分别对应什么样的情况，是好还是坏。然后慢慢摸索这个指标层面多维度的规律，如何设定最合理。

明确自己的位置，快速成长

数据分析是一向比较专业的工作，要时刻警惕自己能力是否有提升，目前是什么样的水平，习惯反思自己:

你了解你所整理的数据的来源吗？是自己公司的业务数据，还是与合作伙伴交换的数据？是自己公司相关部门采集的，还是从第三方获取的？获取过程中，具体的指标和逻辑是什么？

这些数据是真实的吗？采集和整理过程中会不会出现什么问题？技术上的逻辑和业务上的逻辑是不同的概念，有没有技术上没有瑕疵，但并不符合业务逻辑的数据流程？

到你手里的数据经过了什么处理？你又做了什么处理？为什么他们和你要做这些处理？

谁需要你的数据？你处理后的数据流向哪里？他们用数据做什么？这些数据最终又拿去做了什么？比如，为客户做了什么服务，公司发布了什么内容，或向管理层证明了什么 KPI，或支持了哪个部门的评估？

你做整理的周期是什么？为什么是这样的周期？

公司有其他的部门在处理其他的数据吗？是什么样的数据？和你有什么关系？为什么这些数据要分开处理？

近一年，你自己的电脑上应该已经积累了不少数据，试试做个分析，从一段较长的时间来看，你负责的这一块数据发生了什么变化？为什么会有这个变化？和公司的产品、经营、业务有关，还是和行业有关？具体怎么有关？

如何进一步提升？

业务上

1. 业务为核心，数据为王

了解整个产业链的结构制定好业务的发展规划了解衡量的核心指标有了数据必须和业务结合才有效果需要懂业务的整体概况，摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状，发现多维规律

熟悉产品框架，全面定义每个指标的运营现状对比同行业指标，挖掘隐藏的提升空间拆解关键指标，合理设置运营方法来观察效果争对核心用户，单独进行产品用研与需求挖掘业务的分析大多是定性的，需要培养一种客观的感觉意识。定性的分析则需要借助技术、工具、机器。而感觉的培养，由于每个人的思维、感知都不同，只能把控大体的方向，很多数据元素之间的关系还是需要通过数据可视化技术来实现。

3. 规律验证，经验总结

发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。

技能上

1.Excel 是否精钻？

除了常用的 Excel 函数（sum、average、if、countifs、sumifs、offset、match、index 等）之外，Excel 图表（饼图、线图、柱形图、雷达图等）和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况；另外，Excel 里面的函数结合透视表以及 VBA 功能是完善报表开发的利器，让你一键轻松搞定报表。

写给喜欢数据分析的初学者

2. 你需要更懂数据库

常用的数据库如 MySQL，Sql Server、Oracle、DB2、MongoDB 等；除去 SQL 语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。

3. 掌握数据整理、可视化和报表制作

数据整理，是将原始数据转换成方便实用的格式，Excel 在协同工作上并不是一个好工具，报表 FineReport 比较推荐。项目部署的 Tableau、FineBI、Qlikview 一类 BI 工具，有没有好好培训学习，这些便捷的工具都能淡化数据分析时一些重复性操作，把精力更多留于分析。

为了帮助小伙伴们更好的学习Python，技术学派整理了Python的相关学习视频及学习路线图。

领取方式

关注“技术学派”后，评论转发文章，私信回复：Python学习

CIO正在采用数据分析来提高效率，但并不是每一次努力都有成果，一下是知名公司领先CIO如何成功地利用数据分析和机器学习来提高收入或降低成本的成功案例。

降低成本或提高收入的Hyperaware可以帮助他们在C套房和董事会的眼中闪耀，CIO比以往任何时候都更加支持支持数据科学的技术。据IDC统计，2017年全球大数据和业务分析的收入将达到1580亿美元，比2016年上涨了12.4％。旨在支持大数据和分析的硬件，软件和服务的商业购买预计将超过2100亿美元。IDC分析师Dan Vesset指出，大数据分析解决方案已经成为在全球各行业和业务流程中实现数字转型工作的关键支柱。

但是，这种令人沮丧的支出有一个黑暗的一面：大多数数据分析项目无法产生可衡量的价值。遗留系统和商业机构官僚机构已经产生了数据仓库，并使数据质量不佳。而CIO们仍然在努力填补操纵数据所需的人才差距。人才战争激烈，大学分析课程的兴起并不能够足够快地培养合格人选。

然而，数据分析的成功案例在本月初的CIO100研讨会上比较丰富，几个IT领导者透露了他们的努力。首席信息官还分享了对同行进行类似努力的经验教训和建议。

数据分析

已经发展成为全球140多个市场的400亿美元全球医疗保健公司的默克公司力图利用ERP和核心系统收集的数据进行制造执行和库存控制，以获得更多的业务见解。但默克公司的工程师花费了60％到80％的努力来寻找，访问和摄取每个项目的数据，业务目标已经过去了。默克制造IT部门的首席信息官Michelle A'lessandro表示：我们并没有将数据视为可行的，永久的和有价值的资产。我们希望建立一种文化，我们花费更少的时间移动和报告数据，并将更多的时间用于有意义的业务成果的数据。

默克创建了MANTIS（制造和分析智能），这是一个über数据仓库系统，包括内存数据库和开放源码工具，可以压缩包含文本，视频和社交媒体在内的结构化和非结构化系统中的数据。重要的是，该系统旨在让非技术业务分析人员轻松查看可视化软件中的数据。相反，数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS已经将公司整体IT分析项目组合的时间和成本降低了45％。有形的业务成果包括平均交货时间减少30％，平均库存支出成本减少50％。

经验教训： A'lessandro表示，她成功的关键是在亚太工厂确定了一个灯塔”分析项目，默克公司将获得最大的回报。在MANTIS展示成功之后，它成为了对其他网站的呼吁。她也学会了不要咬伤多于她可以咀嚼。A'andandro表示，她在早期的实验中,过度”地使用人工智能和机器学习来分析默克制造过程的成本。A'andandro说：不是因为缺乏赞助或缺乏愿景，我们不能让它上班。

机器学习

多年来，Pepper Snapple集团的销售路线人员抓住了一个含有客户数据，销售和促销记录的肥皂，并打入沃尔玛和Target等零售客户的道路。今天，销售人员不是使用绑定器，而是配备iPad，告诉他们他们需要访问什么商店，为零售商提供什么，以及其他关键指标。Pepper Snapple集团的首席信息官Tom Farrah表示：他们是荣耀的接班人，现在他们正在成为聪明的销售人员，配备信息来帮助实现他们的目标。

该平台MyDPS配有机器学习和其他分析工具，可在推送应用程序时向工作人员推荐建议和日常操作记分卡。显示员工如何按照预期的预测执行的算法，包括他们是否符合自己的计划，这些算法都会落在下面，以及他们如何正确地解决问题的见解。Farrah说：如果我要让某人取得成功，我必须确保他们有什么信息具有内容相关性。”

经验教训：为了测试MyDPS的概念证明，Farrah将该软件分给了四个分支机构，并让业务总裁去拜访他们。他们透露，使用MyDPS后，上个月的执行销售额已经提高了50％，说服他对项目进行了绿化。Farrah说：他得到了结果，这就是销售所需要的，”这不仅仅是为了项目的业务赞助，而且希望得到结果，这一点非常重要。

预测分析

皮特俄亥俄州首席信息官Scott Sullivan表示，货运业正在遭受所谓的;亚马逊影响”的打击。皮特·俄亥俄州，一家7亿美元的货运公司，已经习惯于收取运费，并在第二天交付给客户。但是，要感谢亚马逊，客户越来越期待当天的交货。他们期待有关他们的包的更多信息。

沙利文说：客户现在不仅要知道什么时候会被拿起来，而且要知道如何交付，以便他们能够计划工作量。” 利用历史数据，预测分析和算法实时计算各种货物重量，行驶距离和其他因素，Pitt Ohio可以估计驾驶员以99％的准确率到达运送目的地的时间。该公司估计，通过重复订单增加了收入（估计每年为5万美元），并降低了客户损失的风险（估计为每年6万美元）。

经验教训：沙利文说，这是涉及市场研究，销售业务和信息技术的跨部门事务，他们都检查并重新检查结果，以确保其实现目标。Sullivan表示：四面墙内有很多数据，是创新的，寻找有挑战性的方法来使用它。

如果数据是新的石油，那么知道如何将其改进为可操作的智能是利用其潜力的关键。为此，CIO正在使用预测分析工具，制定机器学习算法和战斗测试其他解决方案，以追求企业的效率和新的服务方式。想获得更多大数据分析成功案例，加学习交流8群640193172，和大数据大数据资深交流经验.

就数据分析学习而言，需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向，一个是业务层面的方向，一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

Python 是目前科多大数据分析课程里面非常重要的一项内容，下面这张图更能直观反映学习内容

当然需要特别指出，数据分析课程学习内容肯定不止python这一项内容，还包括数据分析基础，互联网电子商务、经济学基础，数据产品（可视化报表）等各个板块的学习。

     这是一个来自百度关于数据分析的、阅读类的PPT，文字说明非常充分，适合刚入门数据分析的朋友进行学习。

主要内容：

1、什么是数据分析（道）

1.1 数据分析是什么？
1.2 什么是做好数据分析的关键？
1.3 分析要思考业务，尤其是接地气
1.4 分析要言之有物，行之有效

2、数据分析方法（术）

3、常见的统计陷阱

4、PPT蕴含的人生哲理

在大数据领域里，主要的技术点是数据挖掘、大数据、OLAP、数据统计这几个方面，下面我们来具体看一看。

大数据

大数据是一个大概念，是指用单台计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点。大数据的“大”是一个相对概念，没有具体标准，如果一定要给一个标准，那么10-100TB通常称为大数据的门槛。

大数据主要就是数据分析，我们可以把数据分析分为以下5个层次：数据统计，OLAP，数据挖掘、数学建模、维度分解。

数据统计

数据统计是最基本、最传统的数据分析，自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理，从而得出一些有意义的结论。

OLAP

联机分析处理(On-Line Analytical Processing，OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值，从而为决策提供支持。

数据挖掘

数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则，可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。

数字和趋势

看数字、看趋势是最基础展示数据信息的方式。在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。在选择维度时，需要仔细思考其对于分析结果的影响。

数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

总结

大数据是属于科学研究领域，你想成长大数据大牛必须对上面提到的点进行实际的项目实施和思维的培养，对数据敏感。

比较能用的方案: spark+hbase+hvie+hadoop的实用方案。而最基础的hadoop分布式方案需要5台机器。如果你本身有相当功底，要成为熟手需要3~6个月，如果是工作外尝试的情况，时间可能要x2，而且缺少实际项目经验。

-----------------------------------

本人现处广州从事互联网工作多年，资深技术人员、管理人员。愿结识有互联网业务的技术人员或企业人员。

给大家整理一下本年度一些优质的文章，根据大数据相关的知识点一个个整理的，整理的内容包括知识点普及、学习书籍、学习路线图、学习笔记、学习资料、学习视频等等。

AI时代就业指南

未来已来：AI时代就业指南

AI时代就业指南：计算机、统计完全零基础，到底能不能学数据分析？

AI时代就业指南：数据科学人才成长之路

AI时代就业指南：Java 程序员如何转行做大数据？

AI时代就业指南：企业在招什么样的大数据工程师？

AI时代就业指南：女生适合做数据分析吗？

AI时代就业指南：数据挖掘工程师成长之路

AI时代就业指南：数学专业，你看不见的前尘似锦

AI时代就业指南：数据挖掘入门与指南

AI时代就业指南：普通程序员如何转向AI方向

AI时代就业指南：作为大数据从业人员，如何写好一份可堪入目的简历？

大数据

【入门】大数据行业如何入门-书籍、工具、案例（问题集锦）

【工具】2017 年你应该学习的编程语言、框架和工具

【资料】史上最全的“大数据”学习资源（上）

【资料】史上最全的“大数据”学习资源（下）

【路线图】大数据工程师学习路线图

【路线图】2017年最全的数据科学学习计划

【就业】2016年数据科学薪酬大盘点

【学习群】数据挖掘-机器学习

数据分析

【入门】数据分析那些事（数据分析师入门必看）

【职业】数据分析与数据挖掘类的职位必备技能

【职业】与大数据相关的工作职位有哪些？

【路线图】数据分析师学习路线图

【路线图】数据科学学习路线图

【书单】数据分析师的必读书单

【学习群】人人都是数据咖

统计学

【书单】统计学入门经典书单

【视频】大数据统计学基础

【学习群】大数据-统计分析

SQL

【文章】实用SQL语句大全

【笔记】SQL学习点滴合集

【视频】13次课了解sql2008的故事

Python

【教程】python快速教程

【文章】python爬虫实战

【文章】Python-pandas技巧系(量化小讲堂)

【路线图】python学习路线图

【路线图】Python大数据学习之路

【资料】python机器学习入门资料梳理

【视频】Python入门：数据分析与数据挖掘

【课程】Python进阶：数据挖掘实战

【学习群】Python数据挖掘-初级

【学习群】Python数据挖掘-高级

R

【文章】R语言知识体系

【文章】怎样学习R（上、下)

【文章】ggplot2绘图入门系列

【文章】R利剑NoSQL系列文章

【文章】R语言常用数据挖掘包

【路线图】R语言学习路线图

【视频】R学习免费学习视频

【课程】R语言入门

【课程】R语言实战

【课程】机器学习与R语言实践

【课程】R语言量化交易

【工具】全球最火的R工具包一网打尽，超过300+工具，还在等什么?

【学习群】R语言数据挖掘-初级

【学习群】R语言数据挖掘-中高级

Hadoop

【文章】Hadoop学习路线图

【文章】RHadoop实践系列文章

【教程】Spark入门实战系列教程

【课程】大数据实战工具Spark

【学习群】大数据-hadoop-spark

数据挖掘/机器学习

【入门】机器学习和数据挖掘推荐书单

【路线图】R语言学习路线图及R数据挖掘包

【路线图】Python数据分析和数据挖掘学习路线图

【路线图】机器学习路线图

【资料】近200篇机器学习&深度学习资料

【学习群】大数据-机器学习

因文本问题无法嵌入链接，请复制http://ppvke/Blog/archives/27665 至浏览器查看原文

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

在这份资料中（PPT），分享了百度公司关于数据分析师的培训知识，主要也是针对从业人员，或者说是初级入门的一个关于数据分析的业务知识培训，下面分享给大家交流学习，希望对大家有所帮助。

主要内容：

1、什么是数据分析（道）

1.1 数据分析是什么？

1.2 什么是做好数据分析的关键？

1.3 分析要思考业务，尤其是接地气

1.4 分析要言之有物，行之有效

2、数据分析方法（术）

3、常见的统计陷阱

4、PPT蕴含的人生哲理

以上就是关于企业数据分析一职的业务培训知识，当然这仅仅是入门，在以后的业务中必须加强业务专业的培训，才有可能真正成为一名企业合格的数据分析师，祝你好运。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

这是一个用数据说话的时代，也是一个依靠数据竞争的时代，这是一个用数据说话的时代，也是一个依靠数据竞争的时代，得数据者的天下，目前世界500强企业中，有90%以上都建立了数据分析部门。IBM、微软、Google等知名公司都积极投资数据业务，建立数据部门，培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。

主要内容：

1.什么是数据分析（道）

1.1 数据分析是什么？

1.2 什么是做好数据分析的关键？

1.3 分析要思考业务，尤其是接地气

1.4 分析要言之有物，行之有效

2.数据分析方法（术）

3.常见的统计陷阱

4.PPT蕴含的人生哲理

袁帅，互联网数据分析运营实践者，智能一体化会展活动运营服务平台会点网事业合伙人/运营负责人。CEAC国家信息化计算机教育认证：网络营销师，SEM搜索引擎营销师，SEO工程师。中国电子商务协会认证：中国电子商务职业经理人，畅销书《互联网销售宝典》联合出品人之一。中国国际贸易促进委员会:今日会展会员联盟VIP个人会员，全经联园区委秘书处成员，中国低碳智慧园区联盟理事，周五咖啡媒体人俱乐部发起合伙人。互联网数据官（iCDO）原创作者，互联网营销官CMO原创作者，执牛耳媒体特约撰稿人。