部分大数据入门帖子

000

我通过 数据挖掘入门,自学人工智能,python入门,nlp是什么,统计学入门,大数据入门,爬虫是什么意思,学习大数据要什么基础,数据分析师适合女生嘛,自学大数据该怎么入手等63个入门相关关键问题，找了200篇左右的高票入门帖子。我想通过python自动抓取这些帖子每天的访问量变化，分析出这些帖子的商业价值。那么我是怎么做的呢？

001

因为我的帖子信息整理在excel里，我把它们存储成csv，以便python可以读取，要得到文章的阅读数，能通过python抓取网页，分析网页中的阅读数得到数字，所以要把csv里的url取到python里变成数组

import csv

def get_all_urls():

csv_reader=csv.reader(open("/.../url100.csv"))

r = []

for row in csv_reader:

if row[1] == 'url' or row[1] == '':

continue

r.append(row)

return r

每个网站文章页的格式不一样，意味着每个网站我们要写一个获取阅读数的方法对吧！所以我们需要一个辅助函数，拿帖子的url分析出这个帖子的域名，根据域名才能选择正确的获取方法哦～～

def get_domain(url):

domain = (url.split("/")[2])

return {

"jianshu":"简书",

"blog.csdn":"CSDN",

"zhihu":"知乎",

"zhidao.baidu":"百度知道",

"cnblogs":"CNblog",

"sohu":"搜狐",

"jingyan.baidu":"百度经验",

"blog.jobbole":"伯乐",

"douban":"豆瓣",

}.get(domain,"未知"), domain

OK！！我们的两个辅助方法都有了。

002

本文的重头戏来了～～，核心的方法

get_read_count(url, domain)

，看看名字就知道了，根据url和域名获取文章点击数。咱的思路是这样的，第一天，获取一遍所有帖子的，第二天再获取一遍，3，4，5，6天。这样，每天的每个帖子的阅读数变化就出来啦。说着容易，做起来坑不少。

坑1 我们是用requests模块get方法获取的网页全文，很多网站都会判断是不是正常的浏览器访问，咱们需要把headers写成跟浏览器请求一样，如下：

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

}

r = requests.get(url,headers=headers)

# print(r.text)

得到了网页内容，就该xpath上场了，先分析下阅读数的html特征，我们一般可以用xpath得到阅读数，比如：

if domain == 'blog.csdn': result = root.xpath("//span[@class='read-count']/text()") return (result[0].split("：")[1])

坑2 但也有很多网站用了js的方法动态获取阅读数，此时就需要动一些小小的脑筋了，此处只放出一个小例子：

if domain == 'blog.csdn':

result = root.xpath("//span[@class='read-count']/text()")

return (result[0].split("：")[1])

* 坑2 但也有很多网站用了js的方法动态获取阅读数，此时就需要动一些小小的脑筋了，此处只放出一个小例子：

if domain == 'xxx':

result = root.xpath("//span[@class='read-num']/text()")

m = re.search(r'news_id: \"\d+', r.text)

qid = (m.group().split(": \"")[1])

pvurl = "https://v2.xxx/public-api/articles/" + qid + "/pv?callback=jQuery112406240523630131836_1532664955380&_=1532664955381"

# print(pvurl)

pv = requests.get(pvurl, {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

,"Referer":url

})

return (pv.text.split("(")[1].split(")")[0])

基本思路就是这样：去找到这个文章的阅读数的请求，自己用python拼装请求，得到内容。

003

好，锅也预备了，菜也该炒了。最后一步每天遍历访问一下：

urls = get_all_urls()

# print(urls)

for i in range(len(urls)):

title = urls[i][0]

url = urls[i][1]

# print(url)

doaminName, domain = (get_domain(url))

count = (get_read_count(url, domain))

print(url + "," + doaminName + "," + count)

004

新鲜的数据来了~~~

只列出增长最高的一些数据

最后得出总计1.6w多人一天来看过这些文章，价值多少呢？

005

需要全部帖子的，需要完整分析程序的，或正在自学大数据机器学习的，可以戳下面的连接找我，我叫API1024戳我

为什么数据分析思维重要

如果我们在分析一个问题前，思维缺失就像下面图中所表达的一样，往往不知道问题从哪里下手，在这个时候就轮到平时锻炼的数据分析思维了。

核心数据分析思维

结构化

可以看作金字塔思维，把待分析问题按不同方向去分类，然后不断拆分细化，能全方位的思考问题，一般是先把所有能想到的一些论点先写出来，然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。

案例现在有一个线下销售的产品。我们发现8月的销售额度下降，和去年同比下降了20%。我想先观察时间趋势下的波动，看是突然暴跌还是逐渐下降。再按照不同地区的数据看一下差异，有没有地区性的因素影响。我也准备问几个销售员，看一下现在的市场环境怎么样，听说有几家竞争对手也缩水了，是不是这个原因。客户访谈也要做，但是往常一直找不出原因，这次我也不抱希望，姑且试试吧。要是还找不出原因，那我也很绝望啊。

公式化

在结构化的基础上，这些论点往往会存在一些数量关系，使其能进行＋、－、×、÷的计算，将这些论点进行量化分析，从而验证论点。

业务化

业务化即是深入了解业务情况，结合该项目的具体业务进行分析，并且能让分析结果进行落地执行。用结构化思考＋公式化拆解得出的最终分析论点再很多时候表示的是一种现象，不能体现产生结果的原因。所以需要继续去用业务思维去思考，站在业务人员或分析对象的角度思考问题，深究出现这种现象的原因或者通过数据推动业务。

增加业务思维方法：贴近业务，换位思考，积累经验

数据分析的思维技巧

在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的。7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法，对比法，漏斗法。

象限法

通过对两种维度的划分，运用坐标的方式表达出想要的价值，由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，广泛应用于战略分析，产品分析，市场分析，客户管理，用户管理，商品管理等。

下图是RFM模型，把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。

菜品销售增长率和销售利润

多维法

多维法是指对分析对象从多个维度去分析，这里一般是三个维度，每个维度有不同数据分类，这样代表总数据的大正方体就被分割成一个个小方块，落在同一个小方块的数据拥有同样的属性，这样可以通过对比小方块内的数据进行分析。如图，这是一个快餐店的外卖订单多维表：

虽然只有下单时间、菜品名称、平台三个维度。但根据这个立方体，已经能解决很多掌柜急需了解的问题了。

我们可以通过切片实现每个平台每种菜品的销量，每个月每种菜品的销量，某个月某平台菜品销售情况等等操作。

假设法

在一些情况下，如进入新市场的销量、商品提价后销量的变化情况，可能没有明细数据进行分析，那么就需要用到假设法。假设法也就是假设一个变量或者比率成立，然后根据部分数据进行反推，这是一种启发思维的技巧，一般过程是先假设后验证然后判断出分析结果。

例题：你是自营电商分析师，现在想将商品提价，你分析下销售额会有怎样的变化？解答思路：首先可以确定销量会下降，那么下降多少？这里就要假设商品流量情况，提价后转化率的变化情况，然后根据历史数据汇总出销量下降百分百，从而得出销售额的变化情况。

指数法

指数法是把某个数据多个指标按一定的计算转化为同度量的一个值，这个度量值称为指数。例如在一场游戏竞技比赛中要确定该场的MVP，则是需要根据击杀数、死亡数、助攻数、经济、补兵等指标进行综合计算出一个得分，得分高的为MVP。

指数法常用的有线性加权、反比例、log三种。线性加权即是把每个指标乘以一个系数后相加，反比例即是用数学上的反比例函数y=k/x变化后在计算，log即是数学中所说的对数一般以2为底数或者10为底数。指数法使用没有统一标准，一般是根据经验来做，将无法利用的数据加工成可以可利用的。例如，NBA计算最有价值球员的指数参考：

二八法

二八法即是二八法则也可以叫做帕累托法则，比如在个人财富上可以说世界上20%的人掌握80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

对比法

对比法就是用两组或两组以上的数据进行比较，常见的是用于在时间维度上的同比和环比、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用非常频繁，多与前面的技巧结合使用。

漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。不过，单一的漏斗分析是没有用的，不能得出什么结果，要与其它相结合，如与历史数据的对比等。

下图我用BI商业智能工具FineBI连接了CRM系统的数据，对客户的行为数据做了漏斗图形式的展现。

这篇文章从整体框架出发，介绍了数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

数据分析目前在国内互联网圈的受重视程度在逐步提升，但是问题也很突出：

大家对于数据分析的认知和理解支离破碎，缺乏一个整体的、系统的思维框架；

大家的视野更多局限在数据报表、BI 系统、广告监测等领域，对于数据以及数据分析其实是缺乏深层次洞察的。

这篇文章就从整体框架出发，介绍一下数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

一、数据分析价值观

如何让数据分析真正发挥价值？我认为必须在

价值认同、工作定位和商业模式

三点上取得突破。

（一）数据分析的价值认同

做好数据分析，首先要认同数据的意义和价值。一个不认同数据、对数据分析的意义缺乏理解的人是很难做好这个工作的。放到一个企业里面，企业的 CEO 及管理层必须高度重视和理解数据分析的价值。你想一下，如果老板都不认可数据分析的价值，那么数据相关的项目在企业里面还能推得动吗？然后，企业内部还需要有数据驱动的公司文化。

如果大家宁可拍脑袋做决定也不相信数据分析师的建议，那么数据分析往往是事倍功半、走一下形式而已，反之则是事半功倍。

（二）数据分析的工作定位

做好数据分析，要对数据分析的价值有清楚的定位。既不要神化数据分析，把它当做万能钥匙；也不要轻易否定数据分析的意义，弃之不用。数据分析应该对业务有实际的指导意义，而不应该流于形式，沦为单纯的 “取数”、“做表”、“写报告”。在 LinkedIn 那么多年的工作时间里面，我们对数据分析的工作早已有了清晰的定位：

利用（大）数据分析为所有职场人员作出迅捷、高质、高效的决策，提供具有指导意义的洞察和可规模化的解决方案

。

当时我们还采用了一套 EOI 的分析框架，对不同业务的数据分析价值有明确的定位。针对核心任务、战略任务和风险任务，我们认为数据分析应该分别起到

助力（Empower）、优化（Optimize）、创新（Innovate）

的三大作用。

（三）数据分析的商业模式

做好数据分析，要对企业的商业模式非常了解。数据分析的最终目的还是服务于企业的增长目标，所以务必要对行业背景、业务含义、产品和用户有着深刻的认知。

还是以 LinkedIn 为例，作为企业增长的重要环节，LinkedIn 在产品设计之初就优先考虑到了数据的价值模式。首先是用户的增长、使用和活跃，然后产生大量的数据，最后根据数据进行业务变现（企业广告、企业招聘、高级账号等）和用户增长，从而不断良性循环。

只有认可分析价值、明确工作定位、深谙商业模式，数据分析才能走在正确的轨道上。

二、数据分析方法论

（一）数据分析的框架

在整个数据分析框架中，用户是数据的来源，也是数据分析最终要服务的对象。整个分析框架可以分为四大层次，依次是：数据规划、数据采集、数据分析和数据决策。

从用户、业务系统，到数据采集平台、ETL、数据仓库， 再到分析、BI、DM、AI、洞察，再到决策、行为、价值，最终回到用户。

上面整个分析框架中，越底层的占用的时间和精力越多，而顶层的耗时较少。从产生的价值来看，越底层的产生的价值越低，越顶层的产生的价值越高。大家想一下就会理解，做数据分析的过程大多时间是耗费在数据采集、清理、转换等脏活累活上面，最有价值的分析和决策部分往往耗时很少。

因此，大家做数据分析应该把重心放在最有价值的分析和决策两个层面上，并且尽可能使用工具实现底层的自动化操作。

（二）数据分析的方法论

数据分析应该帮助我们不断优化营销、运营、产品、工程，驱动企业和用户的增长，而不是为了分析而分析。在这里我给大家介绍两个方法论，一个是业务上的 AARRR 模型，另一个是分析上的学习引擎。

AARRR 是著名的 Growth Hacker （增长黑客）海盗法则，依序分别是 Acquisition（获取用户）、Activation（激发活跃）、Retention（提高留存）、Revenue（增加收入）和 Referral（推荐传播）的首字母简称，覆盖用户整个生命周期。我们在进行数据分析的时候，应该考虑用户正处于 AARRR 模型的哪个部分、关键数据指标是什么、对应的分析方法又是什么？

“ 学习引擎 ” 是《精益创业》一书中提倡的精益化运营方式，在硅谷被大小企业广泛采纳。当我们有一个想法的时候，可以采用最简可行化产品（MVP）的方式将其构建（Build）出来。产品上线后，我们需要衡量（Measure）用户和市场的反应。通过分析收集到的数据，我们可以验证或者推翻我们之前的想法，从而不断学习（Learn）和优化。

（三）数据分析的具体方法

这篇文章的目的不是介绍具体的分析方法，而是为了让大家对整个数据分析能力体系有一个系统的认知，所以我就不对每一个方法进行具体的阐述。

懂得每一种方法的原理是一回事，在业务中灵活应用又是另外一回事。以产品经理为例，可以把“用户行为 – 数据分析 -产品设计 & 优化 ”三位归于一体，在不断的实践应用中掌握各种分析方法的精髓和要义。数据来源于用户，数据分析的最终目的也是服务于企业和用户。做数据分析之前，一定要清晰业务目的和数据指标，选择科学的分析方法，用数据来指导产品和用户增长。

三、数据分析工具篇

（一）为什么工具那么重要？

“ 工欲善其事，必先利其器 ” ！

整个数据框架下面的部分可能花费了 80% 的时间和精力，但是产生了不到 20% 的价值。大家都在搭建数据采集平台、都在写代码埋点、都在做 ETL、都在建 BI 系统，哪里还有更多的时间和人力来做 Analytics 和 Insight 。

以前市面上没有好的数据分析工具，大家都只能自己去部署很多的系统、建立很多的机制，甚至雇佣三四个团队去做一件事。

今天市面上有很多好的工具来帮助我们进行数据分析，为了节省时间、资源（特别是成长型企业），大家完全没有必要内部建造一套分析系统，应该擅用好的工具来帮助自己做数据分析。

（二）选择合适的分析工具

选择什么样的分析工具，跟你的工作岗位、分析场景息息相关。每种场景都有若干种工具可以选择，有些工具也可以用于多种分析场景，关键在于你对工具的熟悉和理解。

Excel 绝对是最基本、最常见的数据分析工具了，对于数据量较小的情况，无论是数据处理、数据可视化还是一些统计分析都能支持。一旦数据量大了，这个时候就需要大型的数据库来支持。

市场营销人员需要对广告投放进行数据分析，网站流量监测是他们关注的重点。产品和运营重点关注用户行为和产品使用，用户行为数据分析工具是他们的首选。

以前大家只关注业务数据，然而这些结果型的数据并不能告诉他们中间发生了什么、为什么发生；现在大家越来越关注精细化运营、对用户行为数据的需求也越来越高，这也是我回国创立 GrowingIO 的原因。

如果你能懂一些 R 和 Python，在数据建模、统计分析、数据科学的方向上有所发展，那么你的数据分析水平就更上一层楼了。

上面说的这三点构成了数据分析的能力体系。只有认同数据分析的价值、掌握数据分析的方法并且灵活应用数据分析工具，才能真正做好数据分析。

本文根据张溪梦演讲内容整理编辑。

作者：张溪梦，GrowingIO 创始人 & CEO

本文节选自 GrowingIO 2017 年第 3 期电子书《产品经理数据分析手册》

本文由 @GrowingIO 原创发布于人人都是产品经理。未经许可，禁止转载。

又到一年年终汇报时，相信大家都在回顾2017，展望2018。这其中少不了一些年度汇报。针对年度汇报，我们都希望呈现出自己工作业绩完美的一面，形成一个个内容充实，视觉可观的报告，像这样：

视觉效果很不错，会给你的成绩汇报加分。

而形成这样的报告，其前提是要对你的业务数据进行分析，而分析的第一步，你是什么做的呢？

比如看看下面的一个简单例子：每个省/市有代码，现在系统通过代码来获取省/市的名称

公式：=VLOOKUP(D2,A:B,2,0)

从公式上看，没有问题，但是就是得不到所期望的结果，为什么呢？

俗语说：你看到的，未比就是你想象中那样，正确的。

现在看到的表格中，要查代码是11的省市，而11即可以作为文本，又可以作为数字，所以要采用Vlookup核查的时候，需要明确其类型是一致，故：数据处理的第一步的时候，你要明确你的数据类型，是文本，还是数值，或者还是其他？

那针对上述问题，我们校验一下：

公式1：ISTEXT(A2) 结果为False

公式2：ISTEXT(D2) 结果为True

很明显，数据类型不一致，结果很显然，对不了

那如何处理呢？

常规方法：采用数据分列的模式，让数值变为文本

再往下看：依旧是这个例子

首先公式没有问题，其次代码层面也检查了，都是文本类型了，但是为什么还是错呢？

还是那句俗语：你看到的，未比就是你想象中那样，正确的。

那要如何处理呢，请往下看

公式1：LEN(A2) 结果为3

公式2：LEN(D2) 结果为2

很明显，虽然都是文本，但是长度不一样，那基本可以判定，里面肯定含有空格，针对这种空格，显然不是我什么所需的，那此时可以通过

通过公式：=SUBSTITUTE(A2," ","") 进行处理

将空格替换为了空（""）

这样就可以完美的解决了。

除了SUBSTITUTE函数，Trim函数也可以就可以处理。如下：

那整理下：SUBSTITUTE与Trim的区别

两者本质上都是将空格去掉，前者是采用替换的方式，凡是遇到空格，全部替换为空；但是后者在执行的时候，不是全部替换，而是有选择性的替换（主要在英文方面使用，比如My name is Pangsiji，很明显，英文词之间的空格就是不需要替换的）

所以在处理数据时，需要清除你的数据时中文还是英文，然后在考虑用SUBSTITUTE或Trim

再往下看，我们经常会从ERP系统里面到出数据，然后进行加工处理，此时有一些数字看着是一样，也都是文本，长度也一致，但是就是不对，如下：

为什么呢？

因为数据从外部获取，这些数据中，由于计算机的处理，会存在一些非打印字符（是什么可以暂时不考虑），由于你看不到，同时也满足了相应的文本条件和字符串长度条件，导致结果出错，所以你需要处理这些非打印字符。

处理方式，用CLEAN函数，将非打印字符去掉即可

说道这里，你以为完了？No，No，No……

还有一种，比较变态，胖斯基也经常遇到，就是全角和半角符号输入的内容（这里主要说的是空格）

在上文中采用SUBSTITUTE(A2," ","")进行了空格的替换，一般情况下，基本都能解决。但是有时候，你分列变为文本，Clean处理了非打印字符，TRIM和SUBSTITUTE处理了空格，依旧不对，此时你需要考虑下这个空格是不是全角空格（尤其是从系统里面输出的数据），这里，你可以在你的SUBSTITUTE(A2," ","")公式中，空格的地方，输入全角符号的空格，怎么输入？切换你的输入法

So，说了这么多，胖斯基是想告诉你，当你在进行数据分析处理的时候，第1步要做：

1. 明确原始数据的类型，是文本还是数值；

2. 明确文本类型的数值情况下，采用采用Clean将非打印字符去掉，也可以采用Trim和Substitue函数将空格去掉（注意用法区别）

3. 如果还不行，你就要考虑考虑是不是有全角符号在里面输入（这个最为常见也最为变态）

这样，数据处理时才能提高你的效率！

加油吧，少年！

一、什么是数据分析？

二、数据分析的分类

数据分析的三大作用：现状分析、原因分析、预测分析。

三、数据分析的六部曲

1.明确目的和思路

首先先明确分析目的，然后梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标（各类分析指标需合理搭配使用）。同时，确保分析框架的体系化和逻辑性。

2.数据收集

一般数据来源于四种方式：数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查。

3.数据处理

数据处理主要包括数据清洗、数据转化、数据抽取、数据合并、数据计算等处理方法，将各种原始数据加工成为数据分析所要求的样式。

4.数据分析

常用的数据分析工具，掌握Excel的数据透视表，就能解决大多数的问题。需要的话，可以再有针对性的学习SPSS、R等工具。

数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。

5.数据展现

一般情况下，数据是通过表格和图形的方式来呈现的。

常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。

一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

图表制作的五个步骤：

1、确定要表达主题

2、确定哪种图表最适合

3、选择数据制作图表

4、检查是否真实反映数据

5、检查是否表达观点

常用图表类型和作用：

6.报告撰写

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。

结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

好的数据分析报告需要有明确的结论、建议或解决方案。

四、数据分析的四大误区

1.分析目的不明确，为了分析而分析，这是菜鸟常常容易出现的问题；

2.缺乏行业、公司业务认知，分析结果偏离实际。数据必须和业务结合才有意义。摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解，再根据业务当前的需要，制定发展计划，归类出需要整理的数据。同时，熟悉业务才能看到数据背后隐藏的信息；

3.为了方法而方法，为了工具而工具，只要能解决问题的方法和工具就是好的方法和工具；

4.数据本身是客观的，但被解读出来的数据是主观的。同样的数据由不同的人分析很可能得出完全相反的结论，所以一定不能提前带着观点去分析。

内容来源：小蚊子数据分析

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

说到数据分析，其实很简单，就是找到问题、来解决问题。在做SEM数据分析之前，首先要了解数据，为什么要分析数据？通过数据分析可以获得什么？

因此，正常的数据分析过程应该是：确定分析的目的→收集所需的数据→组织数据→分析数据→获得优化意见。

数据是我们调整账户的基础。对于刚入门的竞价员来说，数据分析很难理解。由于关键字报告、创意报告、搜索词报告、对话词报告、转化词报告中的出价数据太多，新手常常不知道怎么开始，此时你需要冷静下来，整理每个报告，过滤并查找有效数据以进行比较。

管理过这么多账户，凭借我们团队的经验，今天以快速掌握SEM数据分析进行讲解。

首先，您需要了解SEM数据名词的含义。点击率是多少？转化率是多少？跳出率是多少？等一系列技术术语，例如帐户点击率下降，您需要清楚地知道哪些因素会导致点击率下降，接下来应该做什么;调整帐户后，您必须清楚地知道哪些数据会发生变化，否则一切都是浪费时间。以下是两个月教育行业的数据案例。

整理后，复杂的数据将变得清晰。经验丰富的SEMer将知道对上图所示账户进行了哪些调整：这组数据是典型的流量不精准分析图，根据公司政策调整减少消费，平移展现下降、点击下降、对话下降、这些都是正常的数据范围，但是我们消费的下降，应该降低我们的转化成本，这组数据中我们的转化成本并没有降低，反而高出了1块钱，这就说明我们在降低消费时，没有控制我们的精准流量进来，还是以泛流量的方式进行优化账户，（当然这组数据的转化成本是指精准客户转化不是所有的转化成本）这就造成我们降低消费的同时没有一个合理的优化方案去优化账户。

浅谈统计学在生活中的应用

统计学并不是一门独立存在的学科，它是以数学知识和数理统计作为基础，将数理统计方法和其他学科专业知识交叉融合形成的具有极强推断性的一种分析方法。现阶段，随着科学技术的快速发展，为了加强对自然社会各个领域现象的判断和整理能力，将统计学应用在生活各个方面已经成为现阶段的数理统计的一种便捷方法。

一、统计学的概念 　　统计学指的是调研人员通过一些列的手段对整理出来的数据信息进行整理分析，从而推断出调研对象本质，甚至可以对未来的类似事情进行预判的一门综合性学科。在进行统计学整体分析的过程中需要用到大量的数学知识以及其他相关学科的专业知识，统计学由于其自身独特的性质，在社会科学和自然科学的各个领域几乎都可以使用。 　　二、统计学在生活中的应用分析 　　（一）统计学在经济学中的重要应用 　　运用统计学对生活中的数据信息进行整理分析，首先要学习统计学的基础知识以及数据统计个分析等学科，这些基础知识和方法都是在开展统计学应用活动之前调研人员所必须掌握的。统计学课程的学习作为经济学学科当中的重要分支，在经济学课程中经常被应用，例如，经济学的计量统计就需要根据统计学在金融里面的重要意义和地位作为基础，将金融知识和统计学知识相结合，将金融计量和时间的序列进行结合，对收集到的金融数据进行整理分析，最后得出金融计量和时间序列的一定关系。 　　统计学在金融经济学中有着十分重要的工具性作用，主要包括两个方面，分别是：在思想上而言，统计学是对数据统计分析结果进行研究，最后得出研究对象的判断结果，为了保证研究结果的准确可靠性，统计学在进行数据整理分析过程中必须是带着严谨的科学态度，这种严谨的科学态度对于经济学的相关理论分析具有十分重要的指导地位，这是由于研究人员在对金融量进行数学分析的过程中，为了保证金融数学分析结果的准确可靠性就必须保证金融量数据收集分析等预处理过程是科学合理的；其本收集整理次，统计学是经济学进行科学试验研究最优化的选择，经济试验研究活动的多样性以及研究对象之间错综复杂的关系导致经济学的试验研究活动受到诸多限制，运用统计学进行经济学试验研究活动，使得经济学实验研究的对象变得简洁明了，降低试验研究的成本支出。从统计学在经济学中的应用我们可以看出，经济学当中的统计学应用主要是运用了统计学当中经济必然性的思想，使得经济学当中的统计结论不具备复杂的思想成本。 　　

（二）统计学在医学中的重要应用 　　统计学在医学中应用的主要原因就是生物医学中存在的不确定性和变异性。生物医学主要的研究目标就是与人体健康相关的不确定因素，也就是通常所说的医学变异现象，变异现象在生物体当中是普遍存在的，例如，对于外在条件基本相同的两个病人，在相同的条件下进行治疗时，却有可能出现有的病人被治愈，有的病人治疗效果不明显，甚至还会出现死亡的现象。造成这些外在条件相同的生命体却出现不同程度治愈的主要原因就是生物医学中存在的不确定性或者是人体中存在的错综复杂的随机因素，客观差异存在的原因是因为某种偶然性的潜在的揭露必然性的发现。 　　在医学临床统计中发现，对于同一种病因的客观性规律进行调查，对于健康人的共同作用的交织与疗效的考查的病人很少。在医学当中运用统计学最主要的就是通过观察不同疗效病人的医疗诊断效果，将实际的医学诊断治疗效果与医学理论和假设进行验证，运用概率论以及数学方法对对比结果进行分析、判断，运用电子计算机等相关软件设备对研究对象的指标进行记录，并绘制相应的图表等，通过综合运用多种数理统计方法，得出与研究对象相关的研究结果。将统计学应用到医学当中，可以促进统计方法和多变量分析法在医学试验研究中的应用，对未知病因所造成的医疗诊断事故进行分析，可以促进医疗诊治手段的不断创新發展。

（三）统计学在体育比赛中竞技指标的应用。 　　统计学在体育比赛中的应用主要是用统计的职业联赛的数字反应比赛队伍能否成为世界顶级，这是因为在体育比赛中应用统计学可以对比赛中的胜率进行分析，主要是将每个队员在每个赛季比赛的分数和常规赛场上的分数进行统计，通过一系列的数学计算分析，制定出每个队员得分平均值和标准差之间的正态分布图，通过正态分布图的稳定性来判断队员的技术稳定性。以众所周的NBA篮球比赛为例，NBA比赛中由于明星球员众多，在运用统计学进行数据整体分析时，需要依据本质上的规律进行数据统计，而不是随意的选择数据进行统计，例如在进行篮球比赛发球这一项双方队员的进攻和防守的概率时，在进行指标选择时就涉及到随机事件的发生概率，因此，可以运用统计学统计球员在每一场比赛上的均得分，通过这些数据指标的正态分布图来确定球员的技术稳定性。 　　三、结束语 　　在日常生活中应用统计学对数据进行管理分析，可以极大提高生产生活中对研究对象的管理效率，使得研究对象变得明确，降低管理成本。在实际的生产生活中应用统计学时，调研人员需要通过多次的试验和随机概率对比来确定事件发生的概率，通过定量定性的数理统计分析工作，充分发挥统计学对生产生活的促进作用。

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?

01 遵循数据分析标准流程

数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

1)业务理解，确定目标、明确分析需求;

2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量;

3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据;

4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型;

5)评估模型，对模型进行较为全面的评价，评价结果、重审过程;

6)成果部署，分析结果应用。

02 明确数据分析目标

在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

03 业务与数据结合确定分析主题

以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。

04 多种分析方法结合

分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。

05 选择合适的分析工具

工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。

它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。Rapidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便。

06 分析结论尽量图表化

经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

数据分析过程中，除了以上六条原则，还要避免以下3种情况：

1)时间安排不合理

在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。

2)数据源选择不合理

一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

3)沟通不充分

无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。

对于数据分析师，分析经验的积累与专业知识的提升同样重要，因为有些问题不是只用专业知识就能解决的，所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具，做一个有心人! |内容来源：大数据

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者，新社汇联合创始人。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

方法论在各种行业都是以各式各样的形式存在着的，他其实就是一个指南针，指导大方向。同样在数据分析中，如果方法论不正确或者不合理，后面的分析结果也就没必要看了，在一个不正确或不合理的方法论的指导下，得到的分析结果是不可能正确的。

数据分析方法论和数据分析法

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几个方面来开展数据分析？各方面包含什么内容和指标。所以数据分析方法论是从宏观的角度指导如何进行数据分析，它就像是一个数据分析的前期规划，指导着后期数据分析工作的开展。而数据分析法是指具体的分析方法，如：对比分析、交叉分析、相关分析等数据分析方法。数据分析法主要从微观角度指导如何进行数据分析。

作用？

很多人在做数据分析时，经常不知道从哪方面入手进行分析的情况，分析内容和指标也常常被质疑是否合理、完整，而自己也说不出个所以然来。所以方法论这种东西，大部分觉得假大空的东西，其实是非常必要的，只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性和正确性。总结一下：

1、理顺分析思路，确保数据分析结构体系化

2、把问题分解成相关联的部分，并显示他们之间的关系

3、为后续数据分析的开展指引方向

4、确保分析结果的有效性及正确性

常用的数据分析方法论

1、PEST分析法

PEST分析是指宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。在分析一个企业所处的背景的时候，通常是通过这四个因素来进行分析企业所面临的状况。

这个分析方法在网上一搜索就有一大堆的讲解，针对互联网行业的分析，我认为就可以采取这个分析法来整理思路。比如：中国网民与中国公民在人口规模、性别比例、年龄结构、人口分布、生活方式、购买习惯、教育状况、城市特征、宗教信仰等方面是否有区别。

2、5W2H分析法

5W2H分析法作为非常容易学习和操作的方法之一，他是以五个W开头的英语单词和2个H开头的单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（who）、何时（when）、何地（where）、何做（how）、何价（how much），这就构成了5W2H分析法的总体框架。比如O2O的优惠营销信息给用户看，需要搞清楚，用户为什么需要这些优惠，用户的目的是什么？我们提供的优惠是什么？与用户想的是否一致？谁是我们的用户？用户有什么特征？用户喜好在哪个时间段购买？我们的营销活动应该开展在什么时候？用户在线下哪儿去消费？每个地区的线下有什么区别？用户应该怎样去享受优惠？用户去购买花费的成本是多少？我们应该投入多少成本？等等。

文 | 张俊红

数据加载

导入文本数据

1、导入文本格式数据(CSV)的方法：

方法一：使用pd.read_csv()，默认打开csv文件。

9、10、11行三种方式均可以导入文本格式的数据。

特殊说明：第9行使用的条件是运行文件.py需要与目标文件CSV在一个文件夹中的时候可以只写文件名。第10和11行中文件名ex1.CSV前面的部分均为文件的路径。

方法二：使用pd.read.table(),需要指定是什么样分隔符的文本文件。用sep=””来指定。

2、当文件没有标题行时

可以让pandas为其自动分配默认的列名。

也可以自己定义列名。

3、将某一列作为索引，比如使用message列做索引。通过index_col参数指定’message’。

4、要将多个列做成一个层次化索引，只需传入由列编号或列名组成的列表即可。

5、文本中缺失值处理，缺失数据要么是没有(空字符串)，要么是用某个标记值表示的，默认情况下，pandas会用一组经常出现的标记值进行识别，如NA、NULL等。查找出结果以NAN显示。

6、逐块读取文本文件

如果只想读取几行(避免读取整个文件)，通过nrows进行制定即可。

7、对于不是使用固定分隔符分割的表格，可以使用正则表达式来作为read_table的分隔符。

(’\s+’是正则表达式中的字符)。

导入JSON数据

JSON数据是通过HTTP请求在Web浏览器和其他应用程序之间发送数据的标注形式之一。通过json.loads即可将JSON对象转换成Python对象。(import json)

对应的json.dumps则将Python对象转换成JSON格式。

导入EXCEL数据

直接使用read_excel(文件名路径)进行获取，与读取CSV格式的文件类似。

导入数据库数据

主要包含两种数据库文件，一种是SQL关系型数据库数据，另一种是非SQL型数据库数据即MongoDB数据库文件。

数据库文件是这几种里面比较难的，本人没有接触数据库文件，没有亲测，所以就不贴截图了。

数据整理

合并数据集

1、数据库风格的合并

数据库风格的合并与SQL数据库中的连接(join)原理一样。通过调用merge函数即可进行合并。

当没有指明用哪一列进行连接时，程序将自动按重叠列的列名进行连接，上述语句就是按重叠列“key”列进行连接。也可以通过on来指定连接列进行连接。

当两个对象的列名不同时，即两个对象没有共同列时，也可以分别进行指定。

Left_on是指左侧DataFrame中用作连接的列。

right_on是指右侧DataFrame中用作连接的列。

通过上面的语句得到的结果里面只有a和b对应的数据，c和d以及与之相关的数据被消去，这是因为默认情况下，merge做的是‘inner’连接，即sql中的内连接，取得两个对象的交集。也有其他方式连接：left、right、outer。用“how”来指明。

也可以根据多个键(列)进行合并，用on传入一个由列名组成的列表即可。

2、索引上的合并

(1)普通索引的合并

Left_index表示将左侧的行索引引用做其连接键

right_index表示将右侧的行索引引用做其连接键

上面两个用于DataFrame中的连接键位于其索引中，可以使用Left_index=True或right_index=True或两个同时使用来进行键的连接。

(2)层次化索引

与数据库中用on来根据多个键合并一样。

3、轴向连接(合并)

轴向连接，默认是在轴方向进行连接，也可以通过axis=1使其进行横向连接。

(1)对于numpy对象(数组)可以用numpy中的concatenation函数进行合并。

(2)对于pandas对象(如Series和DataFrame),可以pandas中的concat函数进行合并。

·4、合并重叠数据

对于索引全部或部分重叠的两个数据集，我们可以使用numpy的where函数来进行合并，where函数相当于if—else函数。

对于重复的数据显示出相同的数据，而对于不同的数据显示a列表的数据。同时也可以使用combine_first的方法进行合并。合并原则与where函数一致，遇到相同的数据显示相同数据，遇到不同的显示a列表数据。

重塑数据集

1、旋转数据

(1)重塑索引、分为stack(将数据的列旋转为行)和unstack(将数据的行旋转为列)。

(2)将‘长格式’旋转为‘宽格式’

2、转换数据

(1)数据替换，将某一值或多个值用新的值进行代替。(比较常用的是缺失值或异常值处理，缺失值一般都用NULL、NAN标记，可以用新的值代替缺失标记值)。方法是replace。

一对一替换：用np.nan替换-999

多对一替换：用np.nan替换-999和-1000.

多对多替换：用np.nan代替-999,0代替-1000.

也可以使用字典的形式来进行替换。

(2)离散化或面元划分，即根据某一条件将数据进行分组。

利用pd.cut()方式对一组年龄进行分组。

默认情况下，cut对分组条件的左边是开着的状态，右边是闭合状态。可以用left(right)=False来设置哪边是闭合的。

清理数据集

主要是指清理重复值，DataFrame中经常会出现重复行，清理数据主要是针对这些重复行进行清理。

利用drop_duplicates方法，可以返回一个移除了重复行的DataFrame.

默认情况下，此方法是对所有的列进行重复项清理操作，也可以用来指定特定的一列或多列进行。

默认情况下，上述方法保留的是第一个出现的值组合，传入take_last=true则保留最后一个。

End.

来源：36大数据