- ?
如何做数据分析?
柳雨琴
展开
在互联网的下半场,不断精细化运营的背景下,产品经理不再是单纯的靠感觉来做产品,更需要培养数据的意识,能以数据为依归,来不断改善产品。
不同于公司专业的数据分析师,产品经理更多的可以从用户、业务的层面去看待数据,去更快更透彻的去寻找数据变动的原因。
科多大数据带你们看看在数据已经被有效记录的前提下,如何有效的去进行大数据分析呢?
一、明确数据分析的目的
1、如果数据分析的目的是要对比页面改版前后的优劣,则衡量的指标应该从页面的点击率,跳出率等维度出发,电商类应用还要观察订单转化率,社交类应用要注重用户的访问时长、点赞转发互动等频次。
不少新人在设计自己产品的时候,可能会花费很多时间在产品本身的设计上,却没有花精力思考如何衡量产品的成功与否,在产品文档上写上一句类似“用户体验有所”提升的空话,这样既不利于产品设计顺利通过需求评审,也无法更有效的快速提高产品的KPI指标。
2、如果数据分析的目的是探究某一模块数据异常波动的原因,则分析的方法应该按照金字塔原理逐步拆解,版本->时间->人群。
比如发现首页猜你喜欢模块最近的点击率从40%下降到了35%,暴跌5%个点,这个时候先看看是不是哪个版本的数据发生了波动,是不是因为新版本上线埋点遗漏或有误造成的。
如果版本的波动数据保持一致,再看看数据是从什么时候开始变化的,是不是因为受到了圣诞、元旦假日因素的影响,页面上其他模块上线了新的活动影响了猜你喜欢的转化。
如果不是,则再拆解是不是流量来源构成发生了变动,是不是新用户的曝光数量增加导致的。
产品经理需要带着明确的目的去分析数据,思考实现目标需要构建哪些维度去验证。大部分时候,产品经理需要非常耐心的一步一步的拆解细分,排查原因。
二、多渠道收集数据
收集方式一般有四类渠道。
1、从外部如易观或艾瑞的行业数据分析报告获取,需要带着审慎的态度去观察数据,提取有效准确的信息,剥离部分可能注水的数据,并需要时刻警惕那些被人处理过的二手数据。
2、从AppStore、客服意见反馈、微博等社区论坛去主动收集用户的反馈。我自己经常有空的时候就会去社区论坛看看用户的状态评论,一般这样的评论都是非常极端的,要么特别好,要么骂成狗,但这些评论对于自身产品设计的提升还是非常有益的,可以尝试去反推用户当时当刻为什么会产生如此的情绪。
3、自行参与问卷设计、用户访谈等调研,直面用户,收集一手数据,观察用户使用产品时所遇到的问题及感受。问卷需要提炼核心问题,减少问题,回收结果需剔除无效的敷衍的问卷。用户访谈需要注意不使用引导性的词汇或问题去带偏用户的自然感受。
4、从已记录的用户行为轨迹去研究数据。大公司一般会有固话的报表/邮件去每天甚至实时反馈线上的用户数据情况,也会提供SQL查询平台给产品经理或数据分析师,让他们可以更有深度的探究对比数据。
三、有效剔除干扰数据
1、选取正确的样本数量,选取足够大的数量,剔除极端或偶然性数据的影响。08年奥运会上,姚明的三分投篮命中率为100%,科比的三分投篮命中率为32%,那么是不是说姚明的三分投篮命中率要比科比高?显示有问题,因为那届奥运会,姚明只投了一个三分球,科比投了53个。
2、制定相同的抽样规则,减少分析结论的偏差性。比如两条Push文案,第1条“您有一个外卖暖心红包未领取,最大的红包只留给最会吃的你,点击进入”,第2条“送你一个外卖低温福利,足不出户吃喝热腾美味,点击领取”。实验数据表明,第二条Push文案的点击率比第一条同比高了30%。那么真的是第二条文案更有吸引力嘛?结果发现是第二条Push文案的接收人群的活跃度明显高于第一条造成的。
3、剔除版本或节假日因素的干扰,新版本刚上线时的数据表现往往会很好,因为主动升级的用户一般是高活跃度的用户。临近周末或大型节假日的时候,用户的消费需求会被触发,电商类应用的订单转化率也会直线上升。因此,在数据对比的时候,实验组和对照组的数据在时间维度上要保持对应。
4、对历史数据遗忘。人与数据技术不同,数据技术有着100%的记忆能力,而人类根据艾浩宾斯遗忘定律1天后只能记起33%,6天后25%,31天后21%。因此,我们要合理的选择筛选时间段。比如猜你喜欢模块不仅要对兴趣标签的计分进行一定的加权处理,也要结合商品的生命周期等因素做一系列的回归实验,得出受众人群对各类兴趣和购买倾向的衰退曲线,利用有规律的时间变化有效删除老数据,去提升模块的点击率。
5、实验需拆分A1组,也就是在实验组B和对照组A上再增加一组A1,A1和A的规则保持一致,然后探究AB的数据波动与AA1比较,剔除数据的自然/异常波动带来的影响。以我实际的A/B实验表明,设立A1组是非常重要且必要的,不管数据量级有多大,相同实验规则的两组在数据也会有一定的小幅波动,而这小幅波动在精细化运营的今天,对我们的判断可能形成较大的干扰偏差。
四、合理客观的审视数据
1、不要忽略沉默用户
产品经理在听到部分用户反馈的时候就做出决策,花费大量的时间开发相应的功能,往往结果,可能这些功能只是极少部分用户的迫切需求,而大部分用户并不在乎。甚至有可能与核心用户的诉求相违背,导致新版产品上线后数据猛跌。
忽略沉默用户,没有全盘的考虑产品大部分目标用户的核心需求,可能造成人力物力的浪费,更有甚者,会错失商业机会。
2、全面理解数据结果
如果实验结果的预期与我们的经验认知有明显的偏差,请不要盲目下结论质疑自己的直觉,而是尝试对数据进行更透彻的分析。
例如我曾经做过在首页给用户投放活动弹窗的实验,发现实验组的数据不管在首页的点击率,订单转化率乃至7日留存率方面都远超对照组,首页上的每一个模块的转化率都有明显的提升,远远超出了我们的预期,那这真的是活动弹窗刺激了用户的转化率嘛?
后来我们发现在首页能够展示出活动弹窗的用户,往往在使用环境时的网络状态比较好,在wifi环境下,而未展示弹窗的用户则可能是在公交/地铁/商场等移动场景下,网络通讯可能不佳,因此影响了A/B实验的结果。
3、不要过度依赖数据
过度依赖数据,一方面,会让我们做很多没有价值的数据分析;另一方面,也会限制产品经理本来应有的灵感和创意。
正像罗振宇在时间的朋友跨年演讲上提到的一样。用户要什么,你就给什么,甚至他们没说出来你就猜到了,这叫母爱算法,在内容分发领域没有人比今日头条做得更好,但母爱算法有很大的弊端,在推荐的时候会越推越窄。
另一面则是父爱算法,站的高,看得远。告诉用户,放下你手里的烂东西,我告诉你一个好东西,跟我来。正像乔帮主当年打造的iPhone系列产品一样,不看市场分析,不做用户调研,打造出超出用户预期的产品。
五、总结
美国最成功的视频网站Netflix通过基于用户习惯的分析,将大数据分析深入到电影的创作环节中,塑造了风靡一时的美剧《纸牌屋》。然而Netflix的工作人员告诉我们,不应该迷恋大数据
如果说电视剧评分9分是精品的话,大数据可以让我们脱离低分6分以下的风险,却也会带我们按部就班的走向平庸的绝大多数7-8分之间。
产品经理在直觉创造的心智能力,情感理解的社交能力,与大数据相结合,正确的理解数据,让数据真正嵌入到产品的设计中,切实解决用户的实际问题,方能真正做到所谓的“用户洞察”,让产品走到用户需求前面,超出用户的预期。
- ?
数据分析的8种方法详解
swallow
展开
对于具体的业务场景问题,我们该怎么办呢?我们以一个电子商务网站为例,用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示,然后给大家分享这 8 种常见的数据分析方法。
1 数字和趋势
看数字、看趋势是最基础展示数据信息的方式。
在数据分析中,我们可以通过直观的数字或趋势图表,迅速了解例如市场的走势、订单的数量、业绩完成的情况等等,从而直观的吸收数据信息,有助于决策的准确性和实时性。
对于电子商务网站,流量是非常重要的指标。
上图中,我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard),并且实时更新。
这样的一个数据看板,核心数字和趋势一目了然,对于首席增长官来说一目了然。
2 维度分解
当单一的数字或趋势过于宏观时,我们需要通过不同的维度对于数据进行分解,以获取更加精细的数据洞察。
在选择维度时,需要仔细思考其对于分析结果的影响。
举个例子,当监测到网站流量异常时,可以通过拆分地区、访问来源、设备、浏览器等等维度,发现问题所在。
3 用户分群
针对符合某种特定行为或背景信息的用户,进行归类处理,是我们常常讲到的用户分群(segmentation )的手段。
我们也可以通过提炼某一群用户的特定信息,创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户,可以被归类为“北京”用户群体。
而针对“北京”用户群体,我们可以进一步观察他们购买产品的频度、类别、时间,这样我们就创建出该用户群体的画像。
在数据分析中,我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化,效果会更加明显。
上图中,我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来,然后推送相应的优惠券。
这样精准的营销推广,可以大幅度提高用户支付的意愿和销售金额。
4 转化漏斗
绝大部分商业变现的流程,都可以归纳为漏斗。
漏斗分析是我们最常见的数据分析手段之一,无论是注册转化漏斗,还是电商下单的漏斗。
通过漏斗分析可以从先到后还原用户转化的路径,分析每一个转化节点的效率。 其中,我们往往关注三个要点: 第一,从开始到结尾,整体的转化效率是多少? 第二,每一步的转化率是多少? 第三,哪一步流失最多,原因在什么地方?流失的用户符合哪些特征?
上图中注册流程分为 3 个步骤,总体转化率为45.5%;
也就是说有 1000 个用户来到注册页面,其中 455 个成功完成了注册。
但是我们不难发现第二步的转化率是 56.8% ,显着低于第一步 89.3% 和第三步转化率 89.7%,可以推测第二步注册流程存在问题。
显而易见第二步的提升空间是最大的,投入回报比肯定不低;如果要提高注册转化率,我们应该优先解决第二步。
5 行为轨迹
关注行为轨迹,是为了真实了解用户行为。
数据指标本身往往只是真实情况的抽象,例如,网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标,断然是无法全面理解用户如何使用你的产品。通过大数据手段,还原用户的行为轨迹,有助于增长团队关注用户的实际体验、发现具体问题,根据用户使用习惯设计产品、投放内容。
上图中展示了一位用户在某电商网站上的详细行为轨迹,从官网到落地页,再到商品详情页,最后又回到官网首页。
网站购买转化率低,以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹,可以发现一些产品和运营的问题(比如是不是商品不匹配等等),从而为决策提供依据。
6 留存分析
在人口红利逐渐消褪的时代,留住一个老用户的成本要远远低于获取一个新用户。
每一款产品,每一项服务,都应该核心关注用户的留存,确保做实每一个客户。
我们可以通过数据分析理解留存情况,也可以通过分析用户行为或行为组与回访之间的关联,找到提升留存的方法。
在 LinkedIn,增长团队通过数据发现,如果新用户进来后添加 5 个以上的联系人(上图红色线条),那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。
这样,添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外,市场团队可以关注各个渠道获取用户的留存度,或各类内容吸引来的注册用户回访率,产品团队关注每一个新功能对于用户的回访的影响等等,这些都是常见的留存分析场景。
7 A/B 测试
A/B 测试用来对比不同产品设计/算法对结果的影响。
产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果,市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。
举个例子,我们设计了两种不同的产品交互形式,通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标,来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素:
第一,有足够的时间进行测试;
第二,数据量和数据密度较高。
因为当产品流量不够大的时候,做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司,每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准,更快得到统计的结果。
8 数学建模
当一个商业目标与多种行为、画像等信息有关联性时,我们通常会使用数学建模、数据挖掘的手段进行建模,预测该商业结果的产生。
作为一家 SaaS 企业,当我们需要预测判断客户的流失时,可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。
利用统计学的方式进行一些组合和权重计算,从而得知用户满足哪些行为之后流失的可能性会更高。
我们常常说,不能度量,就无法增长,数据分析对于企业商业价值的提升有着至关重要的作用。
当然,仅仅掌握单纯的理论还远远不够,实践出真知。数据分析的方法大家不妨在自己日常工作中,有分析相关项目里尝试使用,相信可以事半功倍,创造更多商业价值。
- ?
Excel数据统计分析中36个小技巧
妃鸾瓷
展开
1、一列数据同时除以10000
复制10000所在单元格,选取数据区域 - 选择粘性粘贴 - 除
2、同时冻结第1行和第1列
选取第一列和第一行交汇处的墙角位置B2,窗口 - 冻结窗格
3、快速把公式转换为值
选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。
4、显示指定区域所有公式
查找 = 替换为“ =”(空格+=号) ,即可显示工作表中所有公式
5、同时编辑所有工作表
全选工作表,直接编辑,会更新到所有工作表。
6、删除重复值
选取数据区域 - 数据 - 删除重复值
7、显示重复值
选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值
8、把文本型数字转换成数值型
选取文本数字区域,打开左上角单元格的绿三角,选取 转换为数值
9、隐藏单元格内容
选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;
10、给excel文件添加密码
文件 - 信息 - 保护工作簿 - 用密码进行加密
11、给单元格区域添加密码
审阅 - 允许用户编辑区域 - 添加区域和设置密码
12、把多个单元格内容粘贴一个单元格
复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容
13、同时查看一个excel文件的两个工作表
视图 - 新建窗口 - 全部重排
14、输入分数
先后输入 0 ,再输入 空格, 再输入分数即可
15、强制换行
在文字后按alt+回车键即可换到下一行
16、删除空行
选取A列 - Ctrl+g打开定位窗口 - 定位条件:空值 - 整行删除
17、隔行插入空行
在数据表旁拖动复制1~N,然后再复制序号到下面,然后按序号列排序即可。
18、快速查找工作表
在进度条右键菜单中选取要找的工作表即可。
19、快速筛选
右键菜单中 - 筛选 - 按所选单元格值进行筛选
20、让PPT的图表随excel同步更新
复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接
21、隐藏公式
选取公式所在区域 - 设置单元格格式 - 保护:选取隐藏 - 保护工作表
22、行高按厘米设置
点右下角“页面布局”按钮,行高单位即可厘米
23、复制时保护行高列宽不变
整行选取复制,粘贴后选取“保持列宽。
24、输入以0开始的数字或超过15位的长数字
先输入单引号,然后再输入数字。或先设置格式为文本再输入。
25、全部显示超过11的长数字
选数区域 - 设置单元格格式 - 自定义 - 输入0
26、快速调整列宽
选取多列,双击边线即可自动调整适合的列宽
27、图表快速添加新系列
复制 - 粘贴,即可给图表添加新的系列
28、设置大于72磅的字体
excel里的最大字并不是72磅,而是409磅。你只需要输入数字即可。
29、设置标题行打印
页面设置 - 工作表 - 顶端标题行
30、不打印错误值
页面设置 - 工作表 - 错误值打印为:空
31、隐藏0值
文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”
32、设置新建文件的字体和字号
文件 - 选项 - 常规 - 新建工作簿时....
33、快速查看函数帮助
在公式中点击下面显示的函数名称,即可打开该函数的帮助页面。
34、加快excel文件打开速度
如果文件公式过多,在关闭时设置为手动,打开时会更快。
35、按行排序
在排序界面,点击选项,选中按行排序
36、设置可以打印的背景图片
在页眉中插入图片即要
来源:网络整理
百家号-【袁帅数据分析运营】运营者:袁帅,会展业信息化、数字化领域专家。新社汇平台联合创始人,永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。
- ?
百度推广老手是如何进行数据分析的?
桃凌
展开
作为竞价人员,你每天是不是这样分析数据的:看看消费、展现、点击、对话是否有下降,如果有下降,就去看看关键词排名,调调价格,做了这些操作之后,就期待着明天能马上出效果。结果,效果比昨天还差劲,不知道怎么办,然后,又去看看排名,调调价格,完全跟着感觉走,完全不知道如何去做数据分析。哪怕偶尔一次,效果变好了,也不知道自己到底是做了什么导致效果变好的。数据分析对于95%的新人来说,就好比撞大运,但是,幸运女神一般很少眷顾。那么你该怎么办?其实,大家都知道,数据分析就好比竞价老手和新手的分水岭,跨过去,你的新世界将被开启,跨不过去,你就永远停留在新手水平,升不了职也加不了薪。所以,想学数据分析的新人们,接下来的5分钟对你至关重要,这也许就是你打开数据分析大门的重要时刻,请打起12分精神!!!
首先,我会分享一张表,作为整篇文章的目录和结构,让大家知道数据分析是由哪几块组成的,然后,我再逐个对每个知识点进行剖析,帮助大家建立数据分析的知识体系。
百度推广-竞价数据分析做数据分析之前,我们要做的是数据统计。要做好数据统计,我们需要用到3个表,分别是:营销流程表、多维度数据表、竞价操作记录表。营销流程表的作用是统计每日数据,当数据累计得越来越多时,就可以做方向性的分析。多维度数据表,主要是统计产生对话的搜索词和关键词,多维度数据表可以看很多数据,比如:看哪个时段转化好,哪个地区转化好,工作日和周末转化是否有变化,哪个客服比较好,哪个计划转化比较好等等。竞价操作记录表,主要是做数据分析之后对进行的操作做记录,方便后期跟踪操作的效果是否达到预期,不会遗忘,失掉方向。接下来,开始给大家划重点了,打起精神来。
竞价数据分析之每日工作流程:
第一步:记录营销流程表数据。看昨天的数据,重点关注转化量是否波动较大。如果,是正常波动,则无所谓,如果波动太大,则需要去分析原因。
第二步:查看搜索词报告。看搜索词主要看两点:1、看昨天整体来的流量是否正常。操作:点击降序,浏览80%的搜索词是不是正常,如果不正常,则需要进行否词。2、按照平均点击价格降序,查看高价搜索词是否值,不值的就需要进行否词。PS:关于否词,这里有一个金句:低质量流量较多则收匹配,低质量流量较少则精确否定,非常不靠谱的流量则广否。
第三步:查看关键词报告:1、消费降序,查看高消费关键词的匹配是否正常,不正常则需要进行否词(请参考否词金句)。2、消费降序,结合转化量,看这个成本自己是否能接受,不能接受的关键词需要进行优化。对于关键词,可分为四类:高消费低转化、高消费高转化、低消费高转化、低消费低转化。后期,老王会写一篇文章,专门讲解如何对这四类词,进行分析和操作。
第四步:记录多维度数据表。为后期的分析积累数据。
第五步:记录竞价操作表。方便后期查看,自己的调整是否有效。
以上,即是老王为大家整理的竞价老手每日分析数据的工作流程,如有疑问欢迎交流,我是路人甲老王,一个希望新人快速成长的陌生人。
- ?
数据分析全流程(内附案例)
Cyril
展开
(图片来源于网络)
作者:苏格兰折耳喵
来源: 运营喵是怎样炼成的 (yymzylc)
(温馨提示:图片显示毛糙和不清楚,是分辨率过高的缘故,点击图片,即可看到高清大图。 )
本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析,力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架:
1 分析背景
1.1 分析原理---为什么选择分析虎嗅网
在现今数据爆炸、信息质量良莠不齐的互联网时代,我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中,因而无可避免的被它上面泛滥的信息所“裹挟”,也就是说,社会化媒体上的信息对现实世界中的每个人都有重大影响,社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户,我们每时每刻都在受到它的影响。
综合上述两类情形,可以得出这样的结论,透过社会化媒体,我们可以观察现实世界:
由此, 社会化媒体是现实主客观世界的一面镜子,而它也会进一步影响人们的行为,如果我们对该领域中的优质媒体所发布的信息进行分析,除了可以了解该领域的发展进程和现状,还可以对该领域的人群行为进行一定程度的预判。
鉴于此种情况,作为互联网从业者的笔者想分析一下互联网行业的一些现状,于是想到了虎嗅网。
虎嗅网创办于2012年5月,是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯,围绕创新创业的观点进行剖析与交流。虎嗅网 的核心,是关注互联网及传统产业的融合、一系列明星公司(包括公众公司与创业型企业)的起落轨迹、产业潮汐的动力与趋势。
因此,对该平台上的发布内容进行分析,对于研究互联网的发展进程和现状有一定的实际价值。
1.2 本文的分析目的
笔者在本项目中的分析目的主要有4个:
(1)对虎嗅网内容运营方面的若干分析,主要是对发文量、收藏量、评论量等方面的描述性分析;
(2)通过文本分析,对互联网行业的一些人、企业和细分领域进行趣味性的分析;
(3)展现文本挖掘在数据分析领域的实用价值;
(4)将杂芜无序的结构化数据和非结构化数据进行可视化,展现数据之美。
1.3 分析方法---分析工具和分析类型
本文中,笔者使用的数据分析工具如下:
Python3.5.2(编程语言)
Gensim(词向量、主题模型)
Scikit-Learn(聚类和分类)
Keras(深度学习框架)
Tensorflow(深度学习框架)
Jieba(分词和关键词提取)
Excel(可视化)
Seaborn(可视化)
新浪微舆情(情绪语义分析)
Bokeh(可视化)
Gephi(网络可视化)
Plotly(可视化)
使用上述数据分析工具,笔者将进行2类数据分析:第一类是较为传统的、针对数值型数据的描述下统计分析,如阅读量、收藏量等在时间维度上的分布;另一类是本文的重头戏---深层次的文本挖掘,包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。
2 数据采集和文本预处理
2.1 数据采集
笔者使用爬虫采集了来自虎嗅网主页的文章(并不是全部的文章,但展示在主页的信息是主编精挑细选的,很具代表性),数据采集的时间区间为2012.05~2017.11,共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量,然后笔者人工提取4个特征,主要是 时间特征 (时点和周几)和 内容长度特征 (标题字数和文章字数),最终得到的数据如下图所示:
2.2 数据预处理
数据分析/挖掘领域有一条金科玉律:“Garbage in, Garbage out”,做好数据预处理,对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗,处理的条目如下:
(1) 文本分词
要进行文本挖掘,分词是最为关键的一步,它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理,它有3类分词模式,即全模式、精确模式、搜索引擎模式:
· 精确模式:试图将句子最精确地切开,适合文本分析;
· 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
· 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
现以“新浪微舆情专注于社会化大数据的场景化应用”为例,3种分词模式的结果如下:
【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用
【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用
【搜索引擎模式】:新浪,微舆情,新浪微舆情,专注,于,社会化,大数据,社会化大数据,的,场景化,应用
为了避免歧义和切出符合预期效果的词汇,笔者采取的是精确(分词)模式。
(2) 去停用词
这里的去停用词包括以下三类:
标点符号:, 。! /、*+-
特殊符号:▲等
无意义的虚词: “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等
(3) 去掉高频词、稀有词和计算Bigrams
去掉高频词、稀有词是针对后续的主题模型(LDA、ATM)时使用的,主要是为了排除对区隔主题意义不大的词汇,最终得到类似于停用词的效果。
Bigrams是为了自动探测出文本中的新词,基于词汇之间的共现关系---如果两个词经常一起毗邻出现,那么这两个词可以结合成一个新词,比如“数据”、“产品经理”经常一起出现在不同的段落里,那么,“数据_产品经理”则是二者合成出来的新词,只不过二者之间包含着下划线。
3 描述性分析
该部分中,笔者主要对数值型数据进行描述性的统计分析,它属于较为常规的数据分析,能揭示出一些问题,做到知其然。
3.1 发文数量、评论量和收藏量的变化走势
从下图可以看出,在2012.05~2017.11期间,以季度为单位,主页的发文数量起伏波动不大,在均值1800上下波动,进入2016年后,发文数量有明显提升。
此外,一头(2012年第二季)一尾(2017年第四季)因为没有统计完全,所以发文数量较小。
下图则是该时间段内收藏量和评论量的变化情况,评论量的变化不愠不火,起伏不大,但收藏量一直在攀升中,尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性,读者认为有价值的文章才会去保留和收藏,反复阅读,含英咀华,这说明虎嗅的文章质量在不断提高,或读者的数量在增长。
3.2 发文时间规律分析
笔者从时间维度里提取出“周”和“时段”的信息,也就是开题提到的“人工特征”的提取,现在做文章分布数量的在“周”和“时”上的交叉分析,得到下图:
上图是一个热力图,色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到,中间有一个颜色很明显的区域,即由“6时~19时”和“周一~周五”围成的矩形,也就是说,发文时间主要集中在工作日的白天。另外,周一到周五期间,6时~7时这个时间段是发文的高峰,说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章,这也符合它的人群定位---TMT领域从业、创业者、投资人,他们中的许多人有晨读的习惯,喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰,是为了提前应对读者午休时间的阅读,还有17时~18时,提前应对读者下班时间的阅读。
3.3 相关性分析
笔者一直很好奇,文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此,笔者绘制出能反映上述变量关系的两张图。
首先,笔者做出了标题字数、文章字数和评论量之间的 气泡图 (圆形的气泡被六角星替代,但本质上还是气泡图)。
上图中,横轴是文章字数,纵轴是标题字数,评论数大小由六角星的大小和颜色所反映,颜色越暖,数值越大,五角星越大,数值越大。从这张图可以看出,文章评论量较大的文章,绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点,文章篇幅中长,意味着能把事情背后的来龙去脉论述清楚,而且标题要能够吸引人,引发读者的大量阅读,合适长度标题和正文篇幅才能做到这一点。
接下来,笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图,X轴和Y轴分别为标题字数和正文字数,Z轴为收藏量和评论量所构成的 平面 ,通过旋转这个3维的Surface图,我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。
注意,上图的数值表示和前面几张图一样,颜色上的由暖到冷表示数值的由大到小,通过旋转各维度的截面,可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰,因而这里的收藏量和评论量最大。
3.4 城市提及分析
在这里,笔者通过构建一个包含全国1~5线城市的词表,提取出经过预处理后的文本中的城市名称,根据提及频次的大小,绘制出 一张反映城市提及频次的地理分布地图 , 进而间接地了解各个城市互联网的发展状况(一般城市的提及跟互联网产业、产品和职位信息挂钩,能在一定程度上反映该城市互联网行业的发展态势)。
上图反映的结果比较符合常识,北上深广杭这些一线城市的提及次数最多,它们是互联网行业发展的重镇。值得注意的是,长三角地区的大块区域(长江三角洲城市群,它包含 上海 , 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 , 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 , 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 )呈现出较高的热度值,直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多,结合国家政策和地区因素,可以这样理解地图中反映的这个事实:
长三角城市群是“一带一路”与长江经济带的重要交汇地带,在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎,是长江经济带的引领发展区,是中国城镇化基础最好的地区之一。
长三角城市群是“一带一路”与长江经济带的重要交汇地带,在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎,是长江经济带的引领发展区,是中国城镇化基础最好的地区之一。
接下来,笔者将抽取文本中城市之间的 共现关系 ,也就是城市之间两两同时出现的频率,在一定程度上反映出城市间经济、文化、政策等方面的相关关系,共现频次越高,说明二者之间的联系紧密程度越高,抽取出的结果如下表所示:
将上述结果绘制成如下动态的流向图:
由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容,因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系,本动态图中,主要反映的是北上广深杭(网络中的枢纽节点)之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群:
京津冀城市群
长江三角洲城市群
珠江三角洲城市群
中原城市群
成渝城市群
长江中游城市群
上面的数据分析是基于数值型数据的描述性分析,接下来,笔者将进行更为深入的文本挖掘。
4 文本挖掘
数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式;而文本挖掘(在文本数据库也称为文本数据挖掘或者知识发现)是从大量非结构的数据中提炼出模式,也就是有用的信息或知识的半自动化过程。
本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。
4.1 关键词提取
对于关键词提取,笔者没有采取词频统计的方法,因为词频统计的逻辑是:一个词在文章中出现的次数越多,则它就越重要。因而,笔者采用的是 TF-IDF (termfrequency–inverse document frequency)的关键词提取方法:
它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度,字/词的重要性会随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。
由此可见,在提取某段文本的关键信息时,关键词提取较词频统计更为可取,能提取出对某段文本具有重要意义的关键词。
下面是笔者利用jieba在经预处理...
- ?
简单几步掌握Excel数据统计分析必备功能-数据透视表
柳平凡
展开
上一篇给大家分享了一下筛选功能的使用,特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号,进去查看历史文章。
那么,今天给大家分享下EXCEL透视表功能的简单使用。通常情况下,我们需要做批量数据的统计、用excel出图表等等的时候,需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候,所必须会使用到的一个功能。
在此,让我们一起通过一个实例来看一下,excel数据透视表的具体使用方法。只需要简单几步,就可以完成一个简单的数据透视!
首先,我们打开一个要处理的EXCEL,比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录,来计算出部门工资的总数及每个月的走势。
第一步:选定A列到H列,即包含所有数据的列。
第二步:点击插入-数据透视表,出现一个创建数据透视表的小窗口,直接点击确定。
此时出现了一个新的sheet页,如下图。这里为了方便大家看全,我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。
第三步:新sheet页的最右侧数据透视表字段,有一个选择要添加到报表的字段,可以看到原始表格的标题列。继续往下看,有四个区域,分别为筛选器,列,行,值。我们把月份点住,拖动到列的区域中。
再分别把部门、姓名拖动到行,部门在上。最后把工资拖动到值。
第四步:值里边默认是计数项,我们需要修改一下,工资是以求和来统计。点击计数项:工资,会出现值字段设置。打开后,选择求和,然后点击确定。
第五步:此时已经可以看到表中的数据都已经出现,每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号,代表隐藏姓名;最后一列的总计,每一行代表这一行数据的总计,比如第一行代表技术部1月到5月的总计工资数目;最后一行的总计,每一列代表的是这一列数据的总计,比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了,可以看到每个部门在每个月以及合计的工资数目。
习惯而言,统计的数据都喜欢有高低顺序来浏览,方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列,然后点击排序,选择降序排列。这样就可以看到一个按高到低排序的工资图表了。
好了,本篇就给大家讲到这里,大家可以自己试着随意在四个区域里,把其他的标题也拖进去,看看会出现什么变化?其实看似枯燥的Excel工具也有非常有趣的一面,更多的技巧就留给大家自己开发吧!有什么问题欢迎留言给我们哦!
- ?
零一《从0开始,教你做数据分析》—10篇
夜梦
展开
大家好,我是零一。这一篇给大家介绍聚类/分类。
我们先讲一讲聚类。
上一篇的探索关系,很多朋友反映说非常有趣,这一篇,聚类分析也是相当有趣的。
聚类分析简称聚类,俗话说物以类聚,人以群分,聚类就是划分子类的过程。算法上面多用k-means和k-medoids,当然,大家可以跳过这些算法的过程,用程序来完成即可。
说简单一点,通过聚类,可以将我们的数据进行分类,并且描述每个类的特征。
聚类应用非常广泛,包括在电商领域的应用也是多不胜数。比如
(1)对客户数据进行聚类分析得到多个客户群组,并且得到各个群组的特征,这可以帮助我们发现客户的共性和差异性;
(2)竞争对手数据进行聚类分析得到多个对手群组和各自的特征,这一样可以让我们找到对手们的共性和差异性;
(3)对行业数据进行聚类分析得到多个行业群组和各自的特征,这个可以来发现不同行业之间的共性和差异性
(4)对销售数据进行聚类分析(比如以其中的地域聚类),可以告诉我们那些地域之间的共性和差异性
不难发现,我举的4个例子都是在发现共性和差异性。对的!我们了解了这些信息,可以指导我们的运营决策,对不同群组制定不同的策略。
下图是对地域数据做的聚类分析,得到的一个谱系图,我们从上往下看,首先是分成两大类
广东,天津,浙江,北京和上海这五个省市为一类,其余的多省为一类。
再往下看又分成了四大类,西藏作为单独一个分类,广东也作为单独的一个分类,天津和浙江为一类,北京和上海为一类。
从上往下,越分越细。红色的边框把多个省市划分成5个分类。一般没必要分得太细,这个数据目测是分成了20个细分的分类,除非是确实是需要细分到很细的时候,才需要看最低层的分类。
当我们知道天津和浙江聚为一类的时候,他们必然存在共性,才会聚在一起。当我们知道天津-浙江类和北京-上海类,作为两个不同的群组聚集,它们之间肯定是存在某种差异。
=======================================
下面,我们用上篇共享的数据,跟大家一起探讨聚类,和寻找他们的共性和差异性。
先处理下缺失值,选择清除数据里面的离群值
中间要选择需要处理的字段,选择好后,进入以下界面,也一样下一步即可
选择删除包含离群点的行(因为这里数据量不少,可以删了)
一般情况下,我们都避免直接修改源数据,需要新建一个变量或者空间或者工作表来存放处理过后的数据。这里选择复制到新的工作表就可以了。
数据处理好后,就可以进行聚类分析了。在数据挖掘套件里面直接选择聚类分析即可。
选择需要的数据进入模型里面
点击参数,然后就会看到下图这个对话框,可以手动输入数字来更改聚类算法,可以看到微软提供的聚类算法有4种,分别是可变的EM,固定的EM,可变的K-means跟固定K-means(EM是最大期望算法,K-means是K平均值算法,可变的是可以伸缩调整的,固定的就是固定不可调整的)
这里我输入4,选择固定的K-means算法
下图是选择测试集的比例,默认是30%。【测试集】是数据挖掘特有的名词,数据挖掘里头将数据集一分为二,大头的部分用来训练建立模型,称之为【训练集】,小的部分就用来测试模型,称之为【测试集】。这是数据挖掘和统计学最大的差异之一。统计学是通过统计方法来验证模型是否可靠,而数据挖掘技术是利用测试集来验证模型的可靠性。一般用于预测模型,聚类分析其实可以不用测试集,可以把数值改为0。但我就不改了。就用随机抽取出来的70%的数据来建立模型。
完成后,就会进入模型浏览界面,我们看到共有划分了7个,这有点儿多,我们可以在选择输入列的时候指定分类的数量,刚才我们是选了自动检测来着。
线粗代表两个分类之间的关系的强度,越粗关系越强。分类的颜色代表密度,颜色越是深蓝代表这个分类的数据个数越多。那非常明显,系统把大部分的数据归入分类1里头了。
下面是分类的剖面图,每个分类对应的指标范围在这里一览无遗。
简单解读一下上面这个分类情况
【分类1】包含2768个数据,最鲜明的是30天成交量偏大,价格偏低的这一个群组,是中低端爆款类
【分类2】只有246个数据,这个群组比较失败,发货分丶服务分丶好评率都偏低,销量偏低,价格偏高一点,典型就是卖货不卖服务类
【分类3】只有187个,集中在广东深圳,DSR很好,评价很好,价格很高,但退款率也很高,应该是高端市场的卖家,标准的价格高,服务好,但不知为何退款率也高,可能是买家收到了,觉得不划算吧,这一类是高端类,但产品或品牌的价值感可能没有做好。
【分类4】只有65个,也是DSR超好,价格中档,产品的价值完美体现,退款率不错,同样集中在广东深圳,是中档性价比类。
【分类5】只有61个,这个群组很惨,集中在浙江金华(估计是义乌),价格超低,DSR超烂,好评率很惨,是低端烂货类
【分类6】和【分类7】规模很小,就不解读了。以上解读仅供参考。一般分个4-5个群组就差不多了,如果数据量确实大,可以考虑分细一些。
每一个分类都可以单独提取出这个分类下的数据的。
下图是分类的一些特征,每个特征的概率情况
下图是分类间的差异性,通过对比可以发现,分类1多是天猫,非分类1的多是C店。
下面我着重看下分类3和分类4的区别,因为分类3败在退款率上面,而分类四就解决了这个问题。
我大致上看出来了,分类3的服务(DSR,退款速度)没有分类4的做得好,但分类4的价格又要比分类3低,并且包邮。那作为消费者,肯定选个价格中肯,服务又好的店家。而且分类4的销量还不低,有少部分是心店,我对心店的印象就是心店的服务一般要比大店的要好。
以上就是对这儿聚类分析结果的简单解读,具体的,亲们实操一下吧。
=============================================
下面说说分类。
聚类和分类,从语义来讲,看似很像,但有一点重要的差异。分类是指定了我们要分析的列(维度),然后通过决策树算法(默认方法是用贝叶斯分类器),来告诉我们,影响这个目标的维度有哪些。下面我们看下过程。
选择要分析的列,我这里选择的是30天销量,看下会影响销量的是什么因子。
下图是结果,告诉我们,收藏很重要!收藏跟销量有很强的关系。同样第一张图是决策树,一样有分组的作用。
决策树一般用来分析影响客户下单或者流失的因子有哪些。有兴趣的朋友可以自己倒腾一下。试下会有哪些意外的收获。
===========================================
下面,告诉大家测试集的使用方法。
选择准确性图表
选择模型,一般用于预测模型,刚才的决策树是属于预测模型,而聚类就不属于,因此聚类的模型不可用于准确性图表。
选择要预测的区间,我选择的是30天成交大于122的情况
我们之前保留的测试集,就在这里出现了,默认会选择测试集来验证准确性。
在上图点了完成后,就会得到这样的一个结果(部分截图),会有一个指标, “分类 30天成交”模型提升144.11%,这个数值越大代表模型的准确性越高。但我一般看下面的ROC图。
蓝色代表没有模型的结果,红色代表理想的结果。而绿色代表我们测试得到的结果。
绿色的线越接近红色的就代表越好,一般情况下,只要不要太接近蓝色的线(或者低于蓝色的线),就好了。如果接近蓝色的线或者在蓝色线下面,那就不如不用模型了,此时这个模型就没什么存在的意义,如果硬要用那就只是为了做模型玩玩而已了。
- ?
网站排名如何对网站数据统计?
戚思菱
展开
网站作为一个内容平台,在内容建设的方向上,底层思维应该从流量思维转换到用户思维,能够在不同场景下去解决用户的需求的内容才是好的内容。
想要把我们的网站排名上去,需要对网站做些数据统计,如何正确来做数据的统计呢?今天我们就来分析一下:
爬虫抓取数据,包括抓取总量、核心页面抓取量、非200状态码数量,利用python开发脚本,连接服务器日志数据,汇总为邮件形式发给SEOer,频率:每日;
各大站长平台数据,包括抓取频次、收录和索引、流量和关键词、移动适配、sitemap和主动提交等数据,频率:每周;
新内容收录数据,以site:域名+title的形式,查询倒排索引量,需要python开发对应查询脚本,频率:每周查询前一周数据;
第三方平台数据,以5118、爱站为主,参考百度流量预估、关键词、权重等数据,也可以用于竞品网站分析,频率:每周;
作为SEO从业人员,在掌握了搜索引擎原理和搜索场景应用的问题后,最终还是要回归到内容建设的思考中来,针对具体的内容领域去布局不同的平台战略。
针对收录:爬虫监控体系的建立;收录批量查询脚本开发;sitemap和主动推送部署;
针对流量:流量数据进行页面级分类,细化流量分布数据;
移动优化:移动适配正则表达式、相关meta声明代码部署;
其他技术:百度mip页面开发;阿拉丁合作xml;
提升页面相关性和内链数量:相关推荐板块开发;手工锚文本开发;
- ?
4个关键,如何清晰的做好数据分析
思卉
展开
文 | 帆软数据应用研究院 船长
数据分析就近几年看来,越来越有一种像通用技能发展的趋势,从生产、研发、市场、销售到运营,多多少会存在数据分析的需求。
关于数据分析,网络上有不少分析报告案例,但细细读来,好多都缺少辨证,逻辑不严谨,又或者分析得浅尝辄止。恰逢最近读了《大数据分析的道与术》,是一套很完整的理论书籍,结合自己多年的数据从业经验,积累了一些心得,想与大家分享。
作为一个唯物主义者,做事总是爱讲方法论。曾经“农村包围城市,武装夺取政权”作为方法论的代名词,总是挂在嘴边。那么数据分析工作,方法论是什么呢?是“先道后术,以道驭术”,也就是先了解数据分析的核心原则,再掌握数据分析的一些关键技术。
什么是数据分析?
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。其实简单理解,数据分析本身就是“数据”和“分析”两块工作。一方面是采集、加工、整理数据,另一方面是结合数据背景分析数据,从中提取出对业务有帮助的结论。
数据分析的成果通常是数据分析报告
。常见的就是带图、表的PPT、PDF文件,也有一些Web版的图表系统(有兴趣的,可以在应用商店搜索“数据分析”,有各类演示系统可以体验)。对于数据分析报告,类似议论文,分析是论点,数据就是论据。
数据分析有什么用呢?这个经常被问到,尤其当一篇花里胡哨的报告在网上发布,就有人说报告没用,顺带着撇一嘴数据分析也没用。
数据分析对企业的巨大价值体现在业务发展的前期(探索期)或阶段性改进期(颠覆期)。当探索和变革业务时,企业需要数据分析去明确业务中的问题、机遇及解决方案。企业最大的成本是决策成本,而数据分析是提高企业决策能力的关键;当业务模式相对成熟时,企业则需要数据建模来提升业务效率,减少运营成本等。
那,数据分析又有哪些普遍又典型的应用场景呢?笔者经验,主要是三个:掌握业务状态、分析业务潜力、评估业务进展。
场景-掌握业务状态
:我们需要通过对核心指标进行监控、解读和分析,掌握业务经营状况。比如某日销量出现异常波动,需要数据分析来定位原因。(产品A本周销量异常上涨10%,是什么原因?怎么分析?)在比如月末、季末部门做关键业务指标总结,并做业务发展趋势分析等。(本季度的关键数据指标如何?各项业务进展如何?都有哪些积极消极因素,具体多大影响,下个月、下个季度业务则呢么发展?)譬如下方用finereport搭建的数据平台,统计监测的业务数据。按照制定的业务分析规则展示,可以清晰地看到哪个环节出错。
销售额分析
销售团队分析
销售指标追踪
场景-分析业务潜力
:产品当前的主要问题是什么?下一步的发展潜力在哪里?从数据中挖掘问题原因并提出对策,指明产品的下一步改进方向。比如商品B近3个月流失了1000个会员,原因是什么(分析原因)?如何减少会员流失(找对策)?
场景-评估业务进展
:新上线的产品策略或新推进的运营活动,带来了多少业绩提升?项目的覆盖面和影响面如何?其中存在怎样的问题,如何进一步优化等等。比如针对部分客户,设计全新的促销策略,在本月执行后,如何评价促销策略带来的业绩提升?是否目标客户群比上个月购买额增长可以作为促销策略的成果?
既然数据分析有如此之多的应用场景和使用价值,那么怎么才能做好数据分析呢?只能说,太难,既需要工具技巧的掌握,又要有能明察秋毫洞若观火的业务经验。但相比而言,个人觉得后者更为重要,就像如果只知道方法论,但没有对业务的理解,如何实行的套路,数据分析只会浮于表面,既不能挖掘问题原因,也不能提供解决方案。
做好数据分析,不谈技术,先认清以下4个关键。
1、业务调研:理解业务是基础,否则分析是无本之木,甚至是个人意淫。
2、创新思考:广阔的知识面和积极的思考,是分析思路的源泉,数据分析的创新思考,实质上就是从更多的思路进行分析,找出最合理的思路。
3、逻辑推理:对数据指标作出正确的归因分析和判断。
4、可行建议:产生对业务切实有效的改进建议和执行方案。
“业务调研”是数据分析的起点,也是获取分析思路的基础,但是需要兼具深度和广度的“创新思考”,才能获取更独到的分析思路。分析思路也可以认为是统计数据的角度,完成数据统计后,需要“逻辑推理”来保证从数据到结论判断的正确性。最后,用“可行建议”来保证分析结论的落地执行,产生可量化的业绩。这就是数据分析从业务中来,回到业务中取得完成过程。
本文是笔者《大数据分析道与术》读书笔记第1篇,浅述了一下。下周将结合自身经验,对业务调研、创新思考、逻辑推理、可行建议逐一做解读分析。
文 |
帆软数据应用研究院
船长
- ?
如何进行数据分析
尔岚
展开
这是一个来自百度内部培训关于数据分享的、阅读类的PPT,文字说明非常充分,适合刚入门数据分析的朋友进行学习。
主要内容:
1、什么是数据分析(道)
1.1 数据分析是什么?
1.2 什么是做好数据分析的关键?
1.3 分析要思考业务,尤其是接地气
1.4 分析要言之有物,行之有效
2、数据分析方法(术)
3、常见的统计陷阱
4、PPT蕴含的人生哲理
来自:36大数据
如何做数据统计分析
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并