文 | 去哪儿

源 | 简书

很多读者给我后台留言数据分析应该怎么入门，怎么提升，怎么找工作？那我想说数据分析你可以看做一个职业也可以看做一项技能，薪资水平决定你需要的能力是多少？

以下我就整理了一些关于数据分析的问题，统一回复。

问题一：无任何分析经验和基础想要入门数据分析，如何入门？

我先用一个比较接地气的例子介绍一下数据分析。在企业中，数据分析就像做一道菜，菜是你最终需求的成品，数据分析师就是厨师，设计方案就是下单，数据采集就是备料，数据处理就是切配，数据分析就是烹饪，数据呈现就是菜品最后的呈现装饰。

再举个简单的例子，假设你需要用数据分析去选择A,B,C三种护肤品中的一个，这是你的目的，这时你的选择困难症来了，你现在知道的信息如下：A，B，C的价格，A，B，C的功效各自不一样，价格和功效都是你关心的（你想要价格适中，具有保湿程度相对好一点的，但在这两种里，你更看重功效），但是功效比重各不一致，这时候就可以用到数据分析了，三个样本的价格和功效的数据表示，就是分析所需要的最基础的原料，而有些时候这些数据不是我们要分析的数据形式，比如说功效这个产品说明里面是用程度去表示的，比如说保湿极好，防晒一般，那这些是定性数据，我们没办法对定性数据进行分析，所以要将这些数据进行一些加工和转换，比如说将极好，一般这些程度词用数字（1-5中的某个值表示），值越大，表示极好，越小表示几乎无效。当用数字可以表示，可以应用在我们之后的分析模型的时候，这就是一个数据准备的过程了；这部分时间要花去数据分析时间的70%，因为数据准备的质量决定着之后的分析质量。数据准备中主要两大知识块：缺失值的处理和异常值的处理。

之后就是模型的建立，像以上的例子中，我们假定已经够造了一个模型（层次分析法）解决这个问题，那这里问题来了，我们怎么知道用哪些方法和哪些模型呢，这就需要知识储备了（一些分析方法和算法的掌握，比如说预测：AR模型，MA模型，分类：决策树，不要被这些算法吓到了哈，我只是举个例子）。那这个模型构造出来了，每个模型并不是完美的，怎么去评价你的模型呢，即怎么评价你的结果如何呢？

那后面就是模型评价了，在上述的例子中就是看你分析出的结果，即你根据模型分析选择的B符不符合你当初的期望值，是不是吻合（当然，在正规的数据分析中有对应的评价指标，比如说分类的混淆矩阵，预测的梯度提升等）。在我的工作经验中，这部分应用一般，主要是实用为主，但是如果是做研究，写论文等，这部分很重要，就是对你模型优劣的论证。

数据分析大致流程就是四个方面：数据准备，模型设计，模型评价，分析报告展示（如果应对的是需求客户的话这一步骤也不可少），步骤虽然少，但是每个方面涉及的内容多到崩溃，所以结合您的实际情况我的建议是先找一个有关您课题的分析目标，然后从这个目标出发，结合我上面所说的那四个流程，每个流程下选择您需要解决的这个问题的解决方案（比如你的目的是评分），然后针对这个问题去了解这个模型所需要的解决方法（比如说层次分析法，主成分分析法之类），这样由问题展开去学习，比刚开始做足准备再去开始有效的多。

那上面是数据分析的学习方式，再梳理一下学习工具。个人学习的话强烈建议用R语言去做统计分析，现在利用R语言尤其是在科研研究中是主流趋势。R语言不需要很厉害的编程逻辑或思维，入门比较容易（最慢三个月也入门了），它里面都有现成的函数工具包，而且模型应用面很广，几乎现在涉及的统计分析和大多数算法都能找到现成的函数包。

工作场景的话，建议把Excel用熟练，因为最常见的就是做报表，制作数据决策报告了。Excel可以灵活地应用各种本地数据的处理，如果要涉及到和数据库的交互的话，公司可能会有报表系统，或者OA、ERP自带的报表功能。那像我的话，公司有数据中心项目，用finereport搭建了一套数据决策报表平台，用设计器开发报表,类似excel。

推荐基本我看过并且很受益的入门书籍

从易到难，按安排时间阅读为好：

1 数据分析：企业的贤内助（入门级）

有kindle mobi版，如果入门级书优先推荐，那我首推这一本

特点：重点讲述了数据分析的应用场景和一些简单的统计分析方法。也比较有趣

阅读难度：1颗星

有趣程度：3颗星

受益程度：4颗星

2 谁说菜鸟不会数据分析（入门篇和工具篇2本，有电子书）

有趣程度：2颗星

受益程度：2颗星

特点：以生动有趣的方式讲述数据分析是“神马”，数据分析的几个步骤。以及以EXCEL为分析工具进行的分析操作和方法。

3 赤果果的统计学（有电子版）

阅读难度：2颗星

有趣程度：4颗星

受益程度：5颗星

这本书主要是结合现实中有趣的现象去阐述统计学，是我阅读过的通俗易懂而且内容对于知识的理解很是有深度启发性的统计学书籍，没有之一。

4 深入浅出数据分析

以下内容是粘贴百度百科的，因为比较全面

以类似"章回小说"的活泼形式，生动地向读者展现优秀的数据分析人员应知应会的技术:数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧;正文之后，意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具，在充分展现目标知识以外，为读者搭建了走向深入研究的桥梁。

工具篇：

R语言实战（有电子版）

有趣程度：1颗星

这本书利用R语言对于统计方法的应用很全面，特别全面，是我入门R语言的最好的启蒙书。刚开始学可以先将这本书上的示例和程序都手动模仿学习一遍，这本书是值得阅读两遍的书。

问题二：sas，r，python在金融行业数据分析，数据挖掘方面的优劣比较，及未来发展趋势

解答：先说一下sas与其他两个工具的区别

1 sas是付费分析工具，主要是大型咨询公司或者外企会用这个工具比较多，原因：因为付费，有保障，通俗的来讲，出了错会有赔付会有责任，对于公司来说，更有保障，风险很低，所以如果以后面试大型咨询公司，金融行业公司或者外企学会这个工具还是很有必要的，sas以前在本科的时候用过一点点，语法相对r和python比较简单。因为本人是在主要是在做电商里面的物流这一块，所以对sas实际操作了解不多，所以这个不能给予更全面的解答。

2 R和python是开源软件，即免费的，是现在国内大多数IT行业做数据分析与挖掘的首选，R语言在做学校研究和公司轻量级的研究和分析（即数据量在T级别以下）比较好用，因为其语法简洁，有很多可以直接应用的工具包（目前主流的一些算法比如说决策树，神经网络，kmeans聚类算法等都能找到工具包和相应的函数，编写简单的程序调用即可，以及还有关于金融相关的风险预测等都可以找到相应的一些函数包），所以编写算法不是R语言主要花时间的地方，主要耗时间的地方在数据处理这一部分，往往数据分析中数据处理和最后做分析花的时间比例大概是7：3，也就是70%的时间会花在数据处理，使得最后调用函数的时候数据格式符合函数要求格式（比如说一些缺失值的处理等），话说回来，R语言主要的优势就是入门快，没有很高的编程要求，数据可视化比python要强。

那我再说一下python，它跟R语言分析功能以及工具的使用方式都差不多是一样的，但是为什么python会用的更广一些呢，主要原因：其一是因为它稳定，它是一门工程类语言，类似于java，稳定性比较强，应用在开发环境中，有一定的规则范式，可以说是介于R语言和java这类语言特性之间，而且在网上的资料会更全面更权威一点，之前说了R语言还有一个弱势就是处理的数据量的大小，我现在工作中用R语言比较多一点，我主要用它做仿真建模，数据量不要求很大，但是如果某天要将代码应用在工程里并且分析的数据量大于T级的时候，R语言的稳定性和效率就很差了，可以想象，当一个APP上某个输出如果很慢的话，会造成怎样的影响，所以如果python在做分析，并且这个代码要嵌套在开发环境中，那python相比于R语言是一个更好的选择。

我现在工作在用R，主要因为R用的比较熟练比较难换过去（因为学习新的语言需要成本），另外分析的数据量不是很大，之前有过经验，当excel里的数据超过100万条的时候，R语言运行速度已经成吃力了，python也自学过一部分，但是也是在循序渐进的学习python，因为这是一种趋势，虽然R语言现在也有Rspark之类的解决运行速度这一类问题，但是发展还是比较缓慢的，而且网上可以搜集的资料也是很有限的，现在的数据都是按指数级增长的，如果你想让自己的职业技能更深入，想在数据分析和挖掘这条路上越走越远的话，建议提早学python。

这是工具方面的一个建议，但是工具只是工具，以我现在的工作经验来看，分析工具层出不穷，更新迭代的速度真的很快，现在又有tensorflow这种工具出来了（专注于机器学习和深度学习），所以我建议不要把大量精力放在很多工具的学习上，工具就像我们从起始点到目的地的一个交通工具一样，你用汽车，公交车都能到达目的地，最主要的是培养一种思维方式，就是解决需求任务的思路和能力，比如你拿到一个问题，怎么利用已知条件，或者在问题里找出这个条件（即提取特征），应用这些条件，构造出一个解决方案（即模型），并且能够严谨准确的去评价你的方案或者模型。这是需要花时间和花精力去学习的。

对社会保险统计工作的几点认识

社会保险统计是运用多种统计方法观察、研究社会保险范围、内容、水平、规模效益状况及其发展趋势、特点和规律的一门科学。社会保险统计信息工作的基本任务是依法对社会保险机构统计信息进行采集、审核、汇总、分析、公布，开展统计信息预测，为促进社会保险事业的健康发展提供决策参考和依据。但是，目前社会保险统计信息的现状不容乐观，还存在一些问题，制约了社会保险统计信息工作的发展，有的甚至认为社会保险统计可有可无，统计就是评估。这样势必影响到社会保险事业的发展。为此，建议从以下几个方面加强社会保险统计信息工作。　

一、确保统计数据质量　　基础数据的采集是统计的一项基础性工作，采集的准不准，质量高不高，直接关系到统计信息汇总的质量。抓好统计信息源是做好社会保险统计工作的关键一环，是提高统计质量的根本保证。　　一要健全社会保险统计体系。二要统一统计口径。三要严把数据审核关。　　二、调整统计调查方法　　一是完善调查内容。及时追踪政府的宏观决策，积极开辟社会保险统计调查新领域，及时、全面的为政府重大决策的实施提供服务，为本级部门的重点工作和重大决策提高服务。积极研究尝试开展涵盖社会保险、人才就业、劳动关系等多领域的调查，监测和评价统计指标体系。

二是调整调查频率。在工作中，根据不同的调查对象、不同的调查内容，区别对待，采取不同的调查频率，提高快速反应能力，以灵活多变的调查方法，跟踪观察复杂多变的统计对象，以满足多层次、多部门、多目标的统计信息需求。　　三是提高调查效率。运用现代化的手段，加快统计调查工作信息化建设，从而提高社会保险统计工作效率。随着计算机、网络、管理信息系统等信息技术的迅速发展，给统计调查提供了许多科学有效的方法和便利。社会保险统计在利用计算机技术和网络基数进行信息管理的同时，应积极运用计算机技术、网络技术等进行高效准确的数据采集和数据分析。在今后工作中，从完善统计结构软件入手，着力进行统计信息网络建设，能大大方便工作，提高工作效率。　　三、进行科学的统计分析　　一是确定统计分析目标。针对社会保险体制改革中不断出现新情况、新问题、新经验的状况，社会保险统计分析，分清形势，确定有针对性的分析目标，特别是抓住社会保险工作实践中带有苗头性、倾向性、突发性和趋势性的问题，充分利用统计数据进行综合分析，提出政策措施和建议。　

二是做好基础数据采集。提高统计数据质量是统计信息工作的永恒的主题。统计数据质量体现在真实性、准确性、及时性、适应性等方面。如何保证统计数据质量，必须从源头抓起，从被调查单位的原始记录。数据收集、整理、汇总、上报的全过程，从每一个统计指标的困境，包括范围、取得渠道、指标来龙去脉，数据的采集操作制度化，以及建立健全统计原始记录、统计报表、统计台账制度。原始记录是统计基础工作的基础，这项工作必须做细、做准，不得有半点的虚假，这也是从源头上杜绝了虚假数据的产生，保证了社会保险统计数据采集的真实性和准确性。　　三是深入开展分析和专题研究，为科学决策和管理提供可供选择的咨询建议和对策方案。社会保险统计要提高决策咨询服务水平，重点是加强统计分析，做好决策咨询调研工作。统计分析要由简单的就数论数，数字文字化，转到对数字背后的深层关系进行分析，对数字背后的社会保障发展规律进行探讨，大大丰富社保统计工作内容，提高社会保险统计产品（统计报表、统计分析、统计调研报告等）的质量。通过实行重点课题责任制度、统计分析定期评估制度、热点问题及时追踪制度等等，使统计分析质量持续提高。　

四是建立表内和表间平衡关系。社会保险统计报表是一个完善体系，报表内部、报表之间都有严密的逻辑关系，保证逻辑关系合理是填报统计报表的基本要求。为了让基层统计人员更好地掌握报表的逻辑关系，确保报表填报的严密性，减少填报错误，提高填报质量，要对报表表内和表间的逻辑关系进行统一和规范，并将这些平衡公式录入统计软件，从而使数据之间，报表之间保持合理的逻辑关系。当因录入或其他的原因使统计数据出现差错时，表内和表间平衡关系都会受到影响，统计软件能够自动地、及时地为统计人员提出错误，是统计失误在基层就能够得到解决，从而提高统计报表质量。　　五是实行统计数据库与业务数据库对接。实现统计数据与业务数据的对接是一个多管齐下的系统工程，要业务、信息系统管理部门等多方努力，真正实行统计数据库与业务数据库对接，才能从基础经办机构统计工作中消除统计数据的虚报、瞒

报和假报现象，减少统计失误，保证统计分析的科学性。四、提高统计服务意识　　社会保险统计信息工作对社会保险政策、业务政策的出台都是重要的辅助工具，树立服务意识，利用社保统计这个工具，是我们做好社会保险经办工作的基础。　

一要高度重视社会保险统计信息工作。各级社会保险经办机构要进一步加强领导，提高认识，把社会保险统计工作摆上议事日程，各级业务部门领导要重视社会保险统计工作，经常了解本统筹区社保统计的基本情况，通过社保统计的数据分析本行政区社保工作的利弊，更好地为社会保险工作的决策服务。　　二要加大对基层统计人员的业务培训力度。基层社会保险经办机构面临机构整合、职能调整等，人员变化较频繁，给社保统计工作带来一定困难和问题。当前，提高基层统计人员的整体素质和服务意识迫在眉睫。要通过不定期地举办不同对象、不同层次的统计人员的培训，在培训中要注重基层统计工作的实际，要注重更新统计人员的知识，改善统计人员的知识结构，提高统计人员的综合素质。　　三要不断创新统计信息服务形式。要不断提高科学、准确、及时、有效的社会保险统计信息服务的领域和空间，通过统计业务报刊、统计信息网站，相互交流社会保险统计信息工作经验。通过依托并不断创新服务形式，使社会保险统计工作的地位得到加强，社会保险统计工作的环境得到改善，社会保险统计工作的发展更加宽广。

看过大概50本玄幻小说之后，基本可以总结出一些规律了，结合计算机编程技术，来看看如何写一本畅销的玄幻小说。

大概分这样几个步骤：

1.数据分析：确定分析目的和标准，选择分析数据源，编写分析程序，汇总数据为展示结果。

2.特征分析：根据汇总数据进行人工分析和归纳，总结出共性的地方和一些基本规律。

3.元素设计：根据基本规律设计：故事，人物，技能，武器和道具，地图。

4.编写大纲：根据元素设计四级大纲结构：卷／编／章／节。

5.填充细节：根据大纲结构，按次序填充细节，并收集各种素材，整理编写。

6.上线验证：编写好100章之后，投放到小说网站进行上线验证，并根据反馈调整大纲。

7.营销引流：到营销平台发布广告，给小说引流，或者在小说平台采购流量，进行营销，扩大阅读量。

1.数据分析

确定分析目的和标准：热门玄幻小说热门词汇出现次数

选择分析数据源：起点，晋江，红袖，云起，纵横

选取文章：按订阅数最多的每个源选取20个玄幻小说

数据抓取工具：使用python编程语言，使用urllib库

编写分析程序：根据网站文章链接规则，抓取所有的文章数据，存入数据库，然后找一个辞典，按照辞典的词汇进行遍历所有文章，如果匹配上则词汇出现次数加1，统计出所有词汇的出现次数。

汇总数据为展示结果：将排名前200的出现的词汇排列出来。

2.特征分析

根据这200个词汇，可以得出一些基本的概念和结果，注意去掉一些不相关的词汇。

比如，人名地名，人物修为等级，情绪类词汇，语气助词，战斗类词汇等等。

3.元素设计

设计故事概要：总的大情节如何发展，总共有几个大地图，地点都是什么，世界组成，势力分布，力量等级，货币换算等等比如：主角经历凡界／地狱界／仙界／魔界／神界总共5个大地图。

设计人物性格和关系：主角是谁，配角是哪些，反派都有谁，打酱油的又是哪些，谁先领便当，每个人的鲜明性格特征是什么，最喜欢的事物都是哪些，口头禅都是什么，关系图谱是如何的，人物身世家境，外貌喜好，力量属性，主要人物最好设计好简历

设计技能和升级要素：总共有多少个等级，每个世界的等级分别是什么名称，每个等级具体的实力对比特征，每个级别升级的难度，大门槛和小门槛的设计

武器和道具设计：武器总共分多少等级，道具分多少等级，总共有几类：攻击武器／防御防具／交通工具／药材和丹药和丹炉等／炼器／其它各种等等

地图设计：每个世界具体的位置，东西南北各个方向，城池，遗迹，绝地，洞天，洞府，怪物分布等等。

可以参考目前最流行的一些游戏的元素设计，假如小说畅销，未来直接改编为游戏更方便。

4.编写大纲

根据元素设计，编写四级大纲结构：卷／编／章／节。

比如：总计10卷，每卷10编，每编10章，每章10节，每节大约300字。总计300万字。总共5个世界，每个世界2卷。

每个世界设计好故事情节发展，落实到每个章节中去。

比如：某一编的10个章节中，3个章节用于修炼升级，3个章节用于战斗，2个章节用于人物来往，2个章节用于其它情节。

设计各种故事情节套路：遗迹洞府探险／挑战比赛／黑吃黑／拍卖会／小规模战斗／大规模战争／炼丹炼器／做门派任务／武器和道具升级／技能升级／人物关系来往／其它等等。

将故事情节套路进行分配安排，按照从粗到细，尽量不重复的原则分配到卷和编上，然后在章和节确定更多的细节特征，做到至少每个节都能用一句话描述出来。

5.填充细节

将每个章的每个节的提纲的一句话进行发挥扩展，填充其中的细节，加入更多的人物描写，情节故事描写，其它细节描写。

将一句话扩充为300字左右，可根据情节细节增加或减少字数，也可以根据情节细节发展调整故事大纲。

注意，保持人物特色鲜明，故事情节能够吸引人，加入自己的文字语言风格。作品中的人物要充满活性,每一个人都是活生生的,要仔细设定其性格特点,然后在行文中时刻注意,看自己对人物的塑造是否符合该人物的性格设定。给人物设计几个能体现性格的小动作，或者语言习惯，或者表情等等。

另外，可以考虑使用计算机编程技术，给定这个小节出现的代表性词汇几个，然后随机抓取10篇包含这几个词汇的其它热门小说的章节内容，参考其中的细节描写和内容，改造成自己的语言风格。

6.上线验证

编写好100章之后，投放到小说网站进行上线验证，并根据反馈调整大纲。

注意投放的目标网站，投放的节奏，和读者的反馈等等。

7.营销引流

到营销平台发布广告，给小说引流，或者在小说平台采购流量，进行营销，扩大阅读量。

该花成本的时候不能吝啬，任何一门生意都是需要投入的。

总结一下，这里最大的难点其实在于编写大纲，好的大纲就如同一个好的剧本，决定了故事的完整性和流畅度，决定了故事是否吸引人，决定了后续细节填充的骨架，一个好的故事大纲设计加上有趣有特色的文笔，能够产生出一个畅销的玄幻小说。

最后，写小说比编写程序要难多了，大家还是来跟学哥学编程吧。

1、深入浅出数据系列书籍

深入浅出数据分析

入门级别，比较简单，但基本的内容涉及全面，讲解的比较清晰，最后谈到了R语言。以下两本是同一系列。

深入浅出统计学

深入浅出SQL

2、资料之美：优雅资料解决方案的幕后秘籍

知识普及性的书籍，集结了39位数据处理领域的翘楚，现身说法，分享他们如何开发各种简约而优雅的解决方案克服各种挑战，每章都解决一个具体问题，对理解数据分析的应用领域和具体做法很有帮助。

3、R 语言实战

全面而细致的R指南，高度概括了该软件和它的强大功能，展示了使用的统计示例，且对于难以用传统方法处理的凌乱、不完整和非正态的数据给出了优雅的处理方法。

4、数据之魅-基于开源工具的数据分析

包含大量的模拟过程及结果展示，并通过实例来阐述如何使用开源工具来进行数据分析。通过本书的阅读，读者可以清楚地了解这些方法的实际用法及用途。

5、数据挖掘技术:应用于市场营销、销售与客户关系管理

如何利用最新的数据挖掘方法和技术来解决常见的业务问题。

比如提高营销活动的响应率，识别新的客户群并估算信用风险。此外，它涵盖更多高级主题，如准备分析数据以及为公司数据挖掘创建必要的基础架构。

6、Python数据科学手册

每章介绍一到两个Python数据科学中的重点工具包。适合有编程背景，并打算将开源Python工具用作分析、操作、可视化以及学习数据的数据科学研究人员。对于需要处理大量数据的人而言，这是一本非常有价值的工作书，可以有效率地处理每天面对的问题，像是操作、转换，以及清理数据、可视化不同形式的数据，建立统计学或机器学习的模型等等。

7、用数据讲故事

通过大量案例研究介绍数据可视化的基础知识，以及如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的。如何充分理解上下文，如何选择合适的图表，如何消除杂乱，如何聚焦受众的视线，如何像设计师一样思考，以及如何用数据讲故事。

8、利用Python进行数据分析

提供了大量的实践案例研究，展示如何使用Python库（如NumPy，pandas，matplotlib, IPython等）有效解决一系列数据分析问题。

9、机器学习实战

用简单的语言把复杂难懂的机器学习算法解释清楚了，它将机器学习的基础理论与日常数据分析的实际工具相结合。使用灵活的Python编程语言来构建实现数据分类、预测、建议以及汇总和简化等更高级功能的算法的程序。

10、机器学习系统设计

比较简单，使用Python进行机器学习并开始构建自己的机器学习项目。本书适用于机器学习初学者的Python程序员，但希望学习机器学习。

最后，花时间将这些中外文书籍吃透，数据分析理论部分就基本入门了，实践方面就需要根据企业业务需求来进行系统的练习和学习！

转载自百家号作者：老男孩python学习

Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。

Python数据分析需要安装的第三方扩展库有：Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等，以下是对该第三方扩展库的简要介绍：

1. Numpy

Python没有提供数组功能，Numpy可以提供数组支持以及相应的高效处理函数，是Python数据分析的基础，也是SciPy、Pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对Python数据分析十分有用。

2. Pandas

Pandas是Python强大、灵活的数据分析和探索工具，包含Series、DataFrame等高级数据结构和工具，安装Pandas可使Python中处理数据非常快速和简单。

3. SciPy

SciPy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。

4. Matplotlib

Matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的Python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。

5. Scikit-Learn

Scikit-Learn是Python常用的机器学习工具包，提供了完善的机器学习工具箱，支持数据预处理、分类、回归、聚类、预测和模型分析等强大机器学习库，其依赖于Numpy、Scipy和Matplotlib等。

6. Keras

Keras是深度学习库，人工神经网络和深度学习模型，基于Theano之上，依赖于Numpy和Scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。

7. Gensim

Gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持TF-IDF、LSA、LDA和Word2Vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。

8. Scrapy

Scrapy是专门为爬虫而生的工具，具有URL读取、HTML解析、存储数据等功能，可以使用Twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。

以上是对Python数据分析常用工具的简单介绍，有兴趣的可以深入学习研究一下相关使用方法！

本文将从用户获取与用户活跃两方面来介绍运营方面的相关知识，并总结了一些数据指标，希望能够对大家有所帮助。

用户获取

用户获取是运营的起始，用户获取接近线性思维，或者说是一个固定的流程：用户接触-用户认知-用户兴趣-用户行动／下载。每一个流程都涉及多个数据指标。

渠道到达量

俗称曝光量，即产品推广页中有多少用户浏览。它可以在应用商店，可以在朋友圈，可以在搜索引擎，只要有流量的地方，都会有渠道曝光。

曝光量是一个蛮虚荣的数字，想一想现代人，每天要接触多少信息？其中蕴含了多少推广，最后能有几个吸引到用户？更多时候，渠道到达量和营销推广费挂钩，却和效果相差甚远。

广告和营销还会考虑推广带来的品牌价值。用户虽没有点击或和产品交互，但是用户知道有这么一个东西，它会潜移默化地影响用户未来的决策。然而品牌价值很难量化，在广告计算中，系统只会将用户的行为归因到最近一次的广告曝光。

广告点击量称为CTR，广告点击量/广告浏览量，除了广告，它也应用在各类推荐系统的评价中。

渠道转化率

既然广告已经曝光，那么用户应该行动起来，转化率是应用最广阔的指标。业界将转化率和成本结合，衍生出CPM，CPC，CPS，CPD，CPT等。

CPM（Cost Per Mille）指每千人成本，它按多少人看到广告计费，传统媒介比较倾向采用。CPM推广效果取决于印象，用户可能浏览也可能忽略，所以它适合在各类门户或者大流量平台采用Banner形式展现品牌性。CPC（Cost Per Click）指每用户点击成本，按点击计价，对广告主来说，这个比CPM的土豪作派理性多了。也有很多人会认为，CPC不公平，用户虽然没有点击，但是曝光带来了品牌隐形价值，这对广告位供应方是损失。CPA（Cost Per Action）指每行动成本，按用户行为计价，行为能是下载也能是订单购买。CPA收益高于前两者，风险也大得多，它对需求方有利对供应方不利。

以上三种是常见的推广方式，CPT按时间，CPS和CPS算在CPA的范围内。渠道推广是依赖技术的行业，用户画像越精准，内容与用户越匹配，则越容易产生收益。

还有一种指标eCPM（effective cost per mille），每一千次展示可获得收入，这是广告主预估自身收益的指标。

渠道ROI

ROI是一个广泛适用的指标，即投资回报比。

市场营销、运营活动，都是企业获利为出发点，通过利润/投资量化目标。利润的计算涉及财务，很多时候用更简单的收入作分子。当运营活动的ROI大于1，说明这个活动是成功的，能赚钱。

除了收入，ROI也能推广到其他指标，有些产品商业模式并不清晰，赚不到钱，那么收入会用其他量化指标代替。譬如注册用户量，这也就是获客成本了。

日应用下载量

App需要下载，这是一个中间态，如果不注意该环节也会流失不少用户。应用商店的产品介绍，推广文案都会影响。有些动辄几百M的产品，常将部分安装留在初次启动应用时以补丁形式完成，如各类游戏，就是怕漫长的下载时间造成玩家流失。

第三方平台下载到用户注册App，这步骤数据容易出错，主要是用户对不上。技术上通过唯一设备ID匹配。

日新增用户数

新增用户数是用户获取的核心指标。

新增用户可以进一步分为自然增长和推广增长，自然增长可以是用户邀请，用户搜索等带来的用户，而推广是运营人员强控制下增长的用户量。前者是一种细火慢炖的优化，后者是烹炸爆炒的营销。

用户获客成本

用户获取必然涉及成本，而这是运营新手最容易忽略的。获取新增用户，运营都应该知道的事

获客成本应该直接和新增用户的财务挂钩，比如地推费用，新用户礼品。但是整个产品的运营环节成本不应该计算入内。直面上的获客成本成本，微信粉丝在10～20元，产品根据不同业务形态价格差异极大。金融理财类的产品，一个有效用户成本超过四位数，非常夸张。而行业的整体获客成本仍旧在上升。

一次会话用户数

一次会话用户，指新用户下载完App，仅打开过产品一次，且该次使用时长在2分钟以内。这类用户，很大可能是黑产或者机器人，连羊毛党都算不上。

这是产品推广的灰色地带，通过各种技术刷量，获取虚假的点击量谋取收益。该指标属于风控指标，用于监管。

用户活跃

用户活跃是运营的核心阶段，不论移动端、网页端或者微信端，都有相关指标。另外一方面，现在数据分析也越来越注重用户行为，这是精细化的趋势。

日活跃用户/月活跃用户

行业默认的活跃标准是用户用过产品，广义上，网页浏览内容算「用」，在公众号下单算「用」，不限于打开APP。

活跃指标是用户运营的基础，可以进一步计算活跃率：某一时间段内活跃用户在总用户量的占比。按时间维度，则有日活跃率DAU、周活跃率WAU和月活跃率MAU。活跃用户数，衡量的是产品的市场体量，活跃率，看的则是产品的健康。

可仅仅打开产品，能否作为产品健康的度量？答案是否定的。成熟的运营体系，会将活跃用户再细分出新用户、活跃用户、忠诚用户、不活跃用户、流失用户、回流用户等。流失用户是长期不活跃，忠诚用户是长期活跃，回流用户是曾经不活跃或流失，后来又再次打开产品的活跃用户。

通过不同的活跃状态，将产品使用者划分出几个群体，不同群体构成了产品的总用户量。健康的产品，流失用户占比不应该过多，且新增用户量要大于流失用户量。

PV和UV

PV是互联网早期Web站点时代的指标，也可以理解为网页版活跃。PV（PageView）是页面浏览量，用户在网页的一次访问请求可以看作一个PV，用户看了十个网页，则PV为10。

UV（Unique Visitor）是一定时间内访问网页的人数，正式名称独立访客数。在同一天内，不管用户访问了多少网页，他都只算一个独立访客。怎么确认用户是不是同一个人呢？技术上通过网页缓存cookie或者IP判断。如果这两者改变了，则用户算作全新的访客。

PV和UV是很老的概念，但是数据分析绕不开他们，除了产品上各页面的浏览，在第三方平台，各类营销活动都只能通过Web页实现，PV和UV便需要发光发热了。

用户会话次数

用户会话也叫session，是用户在时间窗口内的所有行为集合。用户打开App，搜索商品，浏览商品，下单并且支付，最后退出，整个流程算作一次会话。

会话的时间窗口没有硬性标准，网页端是约定俗成的30分钟内，在30分钟内用户不管做什么都属于一次会话。而超过30分钟，不如出去吃个饭回来再操作，或者重现打开，都属于第二次会话了。

移动端的时间窗口默认为5分钟。

用户会话次数和活跃用户数结合，能够判断用户的粘性。如果日活跃用户数为100，日会话次数为120，说明大部分用户都只访问了产品一次，产品并没有粘性。

用户会话依赖埋点采集，不记录用户的操作，是无法得知用户行为从哪里开始和结束的。另外一方面，用户会话是用户行为分析的基础。

用户访问时长

顾名思义，用户访问时长是一次会话持续的时间。不同产品类型的访问时长不等，社交肯定长于工具类产品，内容平台肯定长于金融理财，如果分析师发现做内容的产品大部分用户访问时长只有几十秒，那么最好分析一下原因。

功能使用率

除了关注活跃，运营和数据分析师也应该关注产品上的重要功能。如收藏，点赞，评论等，这些功能关系产品的发展以及用户使用深度，没有会喜欢一个每天打开产品却不再做什么的用户。

功能使用率也是一个很宽泛的范围，譬如用户浏览了一篇文章，那么浏览中有多少用户评论了，有多少用户点赞了，便能用点赞率和评论率这两个指标，然后看不同文章点赞率和评论率有没有差异，点赞率和评论率对内容运营有没有帮助，这些都属于功能使用率。又譬如视频网站，核心的功能使用率就是视频播放量和视频播放时长。

微信公众号指标即可以单独说，也能把它作为产品的功能延伸看待。图文送达率，转化分享率，二次转化分享率，关注者增量等和本文其他指标一脉相承。只是第三方数据多有不便，更多分析依赖假设。

用户留存

如果说活跃数和活跃率是产品的市场大小和健康程度的话，那么用户留存就是产品能够可持续发展。

留存率

用户在某段时间使用产品，过了一段时间后，仍旧继续使用的用户，被称为留存用户。留存率 = 仍旧使用的用户/ 当初的总用户量。

在今天的互联网行业，留存是比新增和活跃提到次数更多的指标，因为移动的人口红利没有了，用户越来越难获取，竞争也越来越激烈，如何留住用户比获得用户更重要。

假设产品某天新增用户1000个，第二天仍旧活跃的用户有350个，那么称次日留存率有35%，如果第七天仍旧活跃的用户有100个，那么称七日留存率为10%。

上面的案例都是围绕新用户展开，还有一种留存率是活跃用户留存率，或者老用户活跃率，即某时间活跃的用户在之后仍旧活跃的比率。它更多用周留存和月留存的维度。

新增留存率和活跃率是不同的，新增留存率关系于产品的新手引导，各类福利，而活跃留存率和产品氛围，运营策略，营销方式等有关，更看重产品和运营的水平。

用户流失率

用户流失率和留存率恰好相反。如果某产品新用户的次日留存为30%，那么反过来说明有70%的用户流失了。

流失率在一定程度能预测产品的发展，如果产品某阶段有用户10万，月流失率为20%，简单推测，5个月后产品将失去所有的用户。这个模型虽然简陋，用户回流和新增等都没有考虑，但是它确实反应了产品未来的生命周期不容乐观。

这里可以引出一个公式，生命周期 = （1/流失率）*流失率的时间维度。它是经验公式，不一定有效。

产品的流失率过高有问题么？未必，这取决于产品的背景形态，某产品主打婚礼管理工具，它的留存率肯定低，大多数用户结婚后就不用。但这类产品一定有生存下去的逻辑。旅游类的应用也是，用户一年也打开不了几次，但依旧能发展。

退出率

退出率是网页端的一个指标。网页端追求访问深度，用户在一次会话中浏览多少页面，当用户关闭网页时，可认为用户没有「留存」住。退出率公式：从该页退出的页面访问数/进入该页的页面访问数，某商品页进入PV1000，该页直接关闭的访问数有300，则退出率30%。

跳出率是退出率的特殊形式，有且仅浏览一个页面就退出的次数/访问次数，仅浏览一个页面意味着这是用户进入网站的第一个页面，俗称落地页LandingPage。

退出率用于网页结构优化，内容优化。跳出率常用于推广和运营活动的分析，两者容易混淆。

更多干货及优质内容：http://ujiuye/?wt.bd=zdy35845相关学习可免费领取福利优惠：http://ujiuye/zt/jycj/?wt.bd=zdy35845IT相关学习：http://ujiuye/tags/?wt.bd=zdy35845

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据分析，是运营中很重要的阶段，是信息流推广中一个非常关键的工作，拥有一套清晰的账户数据表，能让你的数据分析过程，轻松自如、得心应手。

笔者在进行数据分析的时候，一般会用到五张表，这五张表进行分析汇总，然后发现账户中的问题，最终解决问题，让账户效果变得更好。

1、营销流程数据表

2、计划消费数据表

3、搜索词报告表

4、多维度数据表

5、关键词报告

营销流程表格

统计营销流程数据（包括各账户展现、点击、消费、平均点击价格）、统计商务通有效对话、统计预约系统的预约量和到诊量，这些全部放在一张表格上，方便计算预约率和到诊率，也方便对比近期的数据，及时发现波动和异常。

如果经常账户提前下线，或者钱花不出去，就要看看是不是市场有波动，或者竞争对手有大动作，还是账户哪里出了问题。都可以在营销流程数据表中找到问题。只有细心的统计数据，才能为以后的优化方向做好铺垫。

昨日计划消费数据报表

统计昨日计划消费数据，把咨询和预约归类在这张表上统计，可以直观的看出消费、对话成本、预约成本和到店成本。

如果某计划成本过高，就要看一下这个计划的投产比合理不合理。短平快、风险小、利润大的计划，会比其他成本要高，这个要结合公司的经营方向来做调整，把成本控制在一个可以接受的范围里。

搜索词报告

搜索词报告，一般1周统计一次，数据量大的时候3天一次，然后把搜索词报告和和关键词报告进行合并统计。可以很直观的看出某个词的展现或者点击。把这些词在账户里重点标记，或者单独管理，对账户优化有很大意义。

这样结合来看，可以让你对整个账户关键词和数据方面了解会非常清晰。再结合数据分析思路，持续优化账户，往好的方面发展，往高质量方面走。这就是小编整理的数据分析所用到表格的分析。希望能帮到正在竞价一线奋斗的竞价员们。

多维度数据表

多维度数据表是把账户数据和客服转化数据结合起来的一个非常重要的表格，我的习惯是把关键词、搜索词、展现、点击、消费、对话词，通过EXCEL的（vlookup）函数调用，把这些数据全部展现在一张表里，这样就不用看好几张报表，劳神劳力还容易迷糊。

通过这张表，可以直观的看出该关键词的展现量、点击量、消费情况以及是否产生对话。针对这些数据，可以很直观的看出来很多问题，调价、添词、否词、优化账户，基本上全靠这张表。

竞价员可能要看好几张表格，而且容易混乱，很难发现问题，所以在这里笔者着重推荐多维度数据表，然后结合关键词报告，这两张表是较为重要的。

关键词报告表

高消费的词通常是核心词，这种词出价都高，但只要着陆页问题不大，转化还是不错的。这种词，可以往上抢一抢，这类词虽然出价高，但点击总体不会太多，消费一般在一半以上，在账户预算够的情况下，尽力保证排名。如果预算不足，就找出主推项目和利润最大的项目来调整。

一般关键词报告是结合搜索词报告一起看的。每天在筛选完这张表之后，根据关键词的数据分析，如果实在没有点击，那就直接否掉。否掉一批词，再往账户里新增一批词，把该否的否掉，该删的删掉，注入新鲜血液，账户才更有活力。

为什么数据分析思维重要

如果我们在分析一个问题前，思维缺失就像下面图中所表达的一样，往往不知道问题从哪里下手，在这个时候就轮到平时锻炼的数据分析思维了。

核心数据分析思维

结构化

可以看作金字塔思维，把待分析问题按不同方向去分类，然后不断拆分细化，能全方位的思考问题，一般是先把所有能想到的一些论点先写出来，然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。

案例现在有一个线下销售的产品。我们发现8月的销售额度下降，和去年同比下降了20%。我想先观察时间趋势下的波动，看是突然暴跌还是逐渐下降。再按照不同地区的数据看一下差异，有没有地区性的因素影响。我也准备问几个销售员，看一下现在的市场环境怎么样，听说有几家竞争对手也缩水了，是不是这个原因。客户访谈也要做，但是往常一直找不出原因，这次我也不抱希望，姑且试试吧。要是还找不出原因，那我也很绝望啊。

公式化

在结构化的基础上，这些论点往往会存在一些数量关系，使其能进行＋、－、×、÷的计算，将这些论点进行量化分析，从而验证论点。

业务化

业务化即是深入了解业务情况，结合该项目的具体业务进行分析，并且能让分析结果进行落地执行。用结构化思考＋公式化拆解得出的最终分析论点再很多时候表示的是一种现象，不能体现产生结果的原因。所以需要继续去用业务思维去思考，站在业务人员或分析对象的角度思考问题，深究出现这种现象的原因或者通过数据推动业务。

增加业务思维方法：贴近业务，换位思考，积累经验

数据分析的思维技巧

在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的。7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法，对比法，漏斗法。

象限法

通过对两种维度的划分，运用坐标的方式表达出想要的价值，由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，广泛应用于战略分析，产品分析，市场分析，客户管理，用户管理，商品管理等。

下图是RFM模型，把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。

菜品销售增长率和销售利润

多维法

多维法是指对分析对象从多个维度去分析，这里一般是三个维度，每个维度有不同数据分类，这样代表总数据的大正方体就被分割成一个个小方块，落在同一个小方块的数据拥有同样的属性，这样可以通过对比小方块内的数据进行分析。如图，这是一个快餐店的外卖订单多维表：

虽然只有下单时间、菜品名称、平台三个维度。但根据这个立方体，已经能解决很多掌柜急需了解的问题了。

我们可以通过切片实现每个平台每种菜品的销量，每个月每种菜品的销量，某个月某平台菜品销售情况等等操作。

假设法

在一些情况下，如进入新市场的销量、商品提价后销量的变化情况，可能没有明细数据进行分析，那么就需要用到假设法。假设法也就是假设一个变量或者比率成立，然后根据部分数据进行反推，这是一种启发思维的技巧，一般过程是先假设后验证然后判断出分析结果。

例题：你是自营电商分析师，现在想将商品提价，你分析下销售额会有怎样的变化？解答思路：首先可以确定销量会下降，那么下降多少？这里就要假设商品流量情况，提价后转化率的变化情况，然后根据历史数据汇总出销量下降百分百，从而得出销售额的变化情况。

指数法

指数法是把某个数据多个指标按一定的计算转化为同度量的一个值，这个度量值称为指数。例如在一场游戏竞技比赛中要确定该场的MVP，则是需要根据击杀数、死亡数、助攻数、经济、补兵等指标进行综合计算出一个得分，得分高的为MVP。

指数法常用的有线性加权、反比例、log三种。线性加权即是把每个指标乘以一个系数后相加，反比例即是用数学上的反比例函数y=k/x变化后在计算，log即是数学中所说的对数一般以2为底数或者10为底数。指数法使用没有统一标准，一般是根据经验来做，将无法利用的数据加工成可以可利用的。例如，NBA计算最有价值球员的指数参考：

二八法

二八法即是二八法则也可以叫做帕累托法则，比如在个人财富上可以说世界上20%的人掌握80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

对比法

对比法就是用两组或两组以上的数据进行比较，常见的是用于在时间维度上的同比和环比、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用非常频繁，多与前面的技巧结合使用。

漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。不过，单一的漏斗分析是没有用的，不能得出什么结果，要与其它相结合，如与历史数据的对比等。

下图我用BI商业智能工具FineBI连接了CRM系统的数据，对客户的行为数据做了漏斗图形式的展现。

今天学习如何通过数据透视表实现表格的形式汇总数据分析如下图的效果：

一、首选创建数据透视表：为了方便查看，选择新工作表

二、设计-报表布局-以表格形式显示，如下图：

下图显示出来，但是看起来不是很直观，有汇总显示，如何去掉汇总，再有如果做二次数据函数取数的话，那就要标签内的文本内容完全显示，如何处理呢？

设计-分类汇总-不显示分类汇总

设计-报表布局-重复所有项目标签

三、去掉汇总，标签内显示重复项目效果如下：

四、日期如何以月份显示，采购日期右键单元格式-数字-日期-类型选择 2012年3月，确定。如下图：

如果你创建组合的，只能以单独的列显示年、月。

五、如何选择经典数据透视表布局进行拖拉效果：数据表右键选择数据透视表选项-显示-经典数据透视表布局打√即可。