- ?
新手入门:数据分析的四种形式
Du
展开
在我过去的博客文章中,我们已经介绍了数据分析的一些基本原理和陷阱。在这篇博文中,我们专注于数据科学中会遇到的四种数据分析:描述性分析,诊断性分析,预测性分析和规范性分析。
当我与刚刚进入数据科学世界的年轻分析师相遇时,我经常会问他们 “你认为数据科学家最重要的技能是什么?”。他们的答案是非常多样。
我对他们的回馈是:数据科学家最重要的技能应该是将数据转化为非定量的、清晰的、有意义的见解的能力。瑞典统计学家汉斯·罗斯林(Hans Rosling)为此而闻名。这是一个经常被忽视的技能。
围绕今天主题,非常有必要为大家详细介绍一些帮助个人如何使用分析相关的知识提炼出有价值的见解的工具。其中的一款工具就是四维范式分析。
简单地,可以将数据分析分类成四个主要类型。下面我将会详细介绍里面的细节。
一、描述性分析:发生了什么?
这是所有形式中最常见的。在业务中,它为分析人员提供了业务中关键指标和措施的视图。
例如公司每月的收支表。类似地,分析师可以获得大量客户的数据。了解客户的人口统计信息(例如我们的客户的30%是个体经营者)将被归类为“描述性分析”,利用有效的可视化工具可以增强描述性分析的信息。
二、诊断性分析:为什么发生?
这是数据分析的复杂性的下一步是诊断性分析。在对描述性数据进行评估时,诊断分析工具将使分析师能够深入到细分的数据,从而隔离出问题的根本原因。
精心设计的商业信息(BI)仪表板包含读取时间序列数据(即多个连续时间点的数据),并具有过滤器和钻取能力,可进行此类分析。
三、预测性分析:将发生什么?
预测分析是关于预测的。无论是将来发生事件的可能性,预测可量化的数量还是估计可能发生事件的时间点。这些都是通过预测模型完成的。
预测模型通常利用各种可变数据进行预测。组件数据的变异性将与可能预测的关系(例如,一个较老的人,他们对心脏病发作的敏感程度越高 - 我们会说年龄与心脏病发作风险呈线性相关),然后将这些数据一起编译成分数或预测。
在一个很大的不确定性的世界中,能够预测能够做出更好的决定。预测模型是许多领域中最重要的一些模型。
这是预测中需要避开的坑:http://insights.principa.co.za/the-top-predictive-analytics-pitfalls-to-avoid
四、规范性分析:需要做什么?
在价值和复杂性方面的下一步是规范性模式。规范模型利用对发生的事情的理解,为什么发生了这种情况以及各种“可能发生的”分析,以帮助用户确定采取的最佳行动方案。规定性分析通常不仅仅是一个单独的行动,而且实际上是其他一些行动。
一个很好的例子是一个交通应用程序,帮助您选择最佳路线回家,并考虑每个路线的距离,每个路上可以行驶的速度,以及当前的交通限制。
另一个例子可能是制作考试时间表,使得各个班级的学生没有冲突的时间表。
总结
虽然不同形式的分析可能为企业提供不同数量的价值,但它们都具有自己的位置。
- ?
零一《从0开始,教你做数据分析》—03篇
Samana
展开
大家好,我是零一。今天接着第一篇的内容,我们继续利用excel2010来做数据分析。
这系列文章,是从0开始的,可能读者的基础并不是太好,我是这么安排的,先学会基本的操作,会操作了后,再回过来学一些分析思路和方法。自己做过之后,再学心法,可能会有更大的收获。
说回主题,上一篇中,我们看出了走势图,也看到了占比图。这两个必须同时看,才能清楚的,因为你单看走势图,是看不出占比的。单看占比图也会看不粗走势。因此,这两个图,是结合一起,才能读出相对完整的信息。
根据我们的目的,了解淘宝美容护肤行业的市场情况
我们已经拿到了走势和占比两个信息,那么接着还能了解些什么呢?
可能每个人的问题都不一样,我引出一个问题,每个子行业的竞争程度怎么样呢?
那么,我们就要思考,这个问题要转化成什么维度呢?我们手里的数据能否来回答这个问题呢?
我们先观察看一下源数据(源数据下载地址在01篇的底部)
成交量,统计的是成交的件数。
销售额,统计的是成交的件数+一口价,这里误差太大,不分析这个数据。
高质宝贝数,统计的是有一定销量的宝贝数。
其他维度,跟我们的问题关系不大,这里排除了销售额,那么,就剩下成交量和高质宝贝数。
成交量/高质宝贝数
就会得到平均一个高质宝贝数分配到的成交量。这个指标,有人称之为分配量,有人称之为平均占有率,也有人称之为均量。那么,我下面将这个指标命名为均量。
第一步,插入数据透视表
第二步,设置字段
然后,增加一个计算字段,在数据透视表工具——选项——域丶项目和集——计算字段
公式如下图所示
确定后,会自动添加,大家可以核对一下字段设置
然后,我们看到数据透视表,但是面对这个表格,零一点情绪都木有。
看到表格,而且密密麻麻的这种,脑袋就要开始想【数据展现】。用什么方式来展现这些数据?
这里解释一下,【时间序列】简单理解就是以时间为展现维度的数据,那么这里刚好就是以时间作为维度。那么,我们看到是垂直柱和线图。那就用这两种结合,来做展现。
结果如下,天哪!巨坑!这,,,这要比表格还要难看。
这里一团糟,是因为维度太多了,维度太多了,就要思考【降维】,减少这个图表里面的维度即可。
下面仔细看,有个倒三角。
点下倒三角,跟我下图一样,筛选一下即可。
结果如下。认真看,想想为什么最底下有条水平线?
最底下那条就是均量了。因为数值太小,所以,好端端的一条曲线就变成了水平线。鼠标点一下。
最下面的直线就会被选中,右击一下,在弹出来的菜单选择,设置数据系列格式。
然后,选择次坐标轴,点右下角的关闭
这就看得清楚了,蓝色是成交量,对应左边的纵坐标轴。红色的是均量,对应的是右边的纵坐标轴。
发现9月到年前是行业旺季哦!今年的均量在飙升的感觉。均量越高,代表每个宝贝分配到的成交量就越多。
那么,问题来了,均量高是好事情吗?
答案是未必,首先要去淘宝搜索判断,目测销量第一页的分布情况,就可以知道。如果要用指标,可以用【极差】来判断。这里其实目测就好了。如果销量都在两三个宝贝,那么,这个事儿对于你来讲就不好了。
再接着,如果发现分布相对均匀,那么是好事吗?
还是未必,答案完全看你自己了,如果是小卖家,那是好事儿啊,竞争不会太大,大家都有机会得到成交的机会。
但是,如果你是有实力的卖家,这就不是件好事儿,蛋糕要大家分呀!这可是蛋疼的事儿。
好了,解释就到这里。我们继续。开始说了要用两种图来展现。现在只完成了第一步。接着,我们在这个表里面加入柱形。
点一下红色线性,右击,在菜单中选择更改系列图表类型
按确定自己看结果吧
这里又出现个问题了。这里只能看一个行业啊!能不能看所有的行业,或者每个行业都单独看一下?
答案,是都可以!我们先实现变着行业来看。
插入切片器,如果找不到地方的,版本不同,自己找。或者就是图表没有在活动状态。
选好后,按确定,就可以看到切片器,自己点点看看吧。。
那么,接着,将均量全部拿出来看趋势。重新插入个数据透视表。过程自己思考。不演示了。相信消化了第一篇的童鞋都能自己做的了。
好,到这里来,基本看得差不多了。但是还有,我还没有说完哦。
因为考虑到进程问题,这一篇内容要稍微多一些。
上面均量的走势,我们看得出来,胸部护理的均值最高,但是越下面的各个子行业错综复杂,我们怎么客观地来判断呢?
这里教大家两个指标【波动系数】和【极差】,这个后面的文章可能要用到,以后讲到,就不解释了!对他们的数学/统计意义感兴趣的童鞋自己百度吧,波动系数,统计学里面叫变异系数。
统计学意义我就不说了,我先介绍一下,这两个指标,不是什么时候都要用,就是用肉眼,看不出来,拿不准的时候,希望更加科学地来判断,就需要动用他们了。
【波动系数】=【标准差】/【平均值】
【极差】=【最大值】-【最小值】
我从数据透视表复制出部分数据,如下。相信消化了第一篇的童鞋都能自己做的了。
先算下【标准差】excel里面函数是:STDEV.S
【极差】公式
【均值】大家都知道的,但是还是贴出来吧。
最后,自己算下波动系数哦!
那么,我算出来T区护理的波动系数是0.43,唇部护理是0.39。极差在上面看得到。这个怎么应用呢?
要记住这个应用的前提,肉眼看不出来,不明显,错综复杂的走势。那么,就用他了,如果摆在你面前的能用肉眼一眼看穿的,请绕道。
如果是小卖家,选择波动系数越大的,可能就越好。因为市场波动大,机会就大,前提一样要先验证一下是否是个别商家人为操作起来的市场。
如果是中级卖家,具体也要看,如果资源好,建议选择波动系数小的,因为这个市场做起来后,就相对稳定,平时不用太操心呗,控制好供应链,其他就没什么大事儿了。
【极差】作为辅助的维度,不一定要,但是他跟【波动系数】一起看得更全面。
【波动系数】有个优点也是缺点跟数据本身的大小没关系的。百万级别的源数据跟百位级的源数据,算出来的波动系数可能是一样的,从优点来讲,他可以跨维度,跨数据级对比。从缺点来讲,就是看不全,就可能出现不同级别的数据之间,他们的波动系数相等。
- ?
数据分析入门:如何训练数据分析思维?
端庄
展开
作者:吴彬彬
我们在生活中,会经常听说两种推理模式,一种是归纳 一种是演绎,这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累,在此基础上快速定位业务问题,提升分析效率,但是对于刚入门的数据分析师,在项目经验不足的前提下,如何快速完成项目的分析报告? 这里引进一种外展推理的思维模式,方便入门分析师的完成日常的工作。
那什么是外展推理模式呢?
在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分:规则,情况以及结果。
规则: 通常是对这个世界的看法;情况:就是这个世界存在的已知事实;结果:将规则用于情况,预期要发生的事儿。
这三个任何一个实体都可以作为推理的起点,然而起点不同意味着,推理的方法也有所差异。
以规则为起点的推理方法可以称之为演绎推理。
举个例子,如果平时不努力,考试成绩将不及格(规则);现实中a平时不努力(情况);所以a考试不及格(结果)。
以情况为起点的推理方法就是归纳推理。
a平时不努力(情况);a考试不及格(结果);所以a考试不及格的原因可能是平时不努力。
以结果为起点的推理方法就是外展型思维方法。
a考试不及格(结果),考试不及格通常是由于平时不努力(规则),检查是否平时不努力(情况)。
从日常工作中,我们可以发现,外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式,是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑,那如何进行外展推理呢?外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因,之后的重点就是收集资料,以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段,按日常的工作可以简化如下三个流程:
将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较,分离不同层级的因素,合并同一层级中相同的因素,确保各因素的独立性。按照正确的逻辑关系,把各因素进行排列组合。
如下图:我们可以将问题进行分解,分解的原则为
各部分之间相互独立 (Mutually Exclusive)所有部分完全穷尽 (Collectively Exhaustive)
在此基础上按层级进行数据分析定位,找到最细的原因。
在工作中,我们主要会用到的分解方法有这两种,
按业务职能结构划分,比如渠道,运营,功能等相关模块,将相关指标映射到主要模块,通过简单快速的沟通,能快速的定位问题原因,但是缺点是分析结果不够直接,依赖外部资源信息搜集。按因果结构划分(指标分解)营收=日活*付费率*arpu等指标因果关系进行划分,通过定位指标波动,定位最细指标,辅助维度下转,能够清楚的问题原因,该方式是较为稳妥的方式,是日常工作中的主要方式,但是缺点是需要构建相对完整的指标逻辑体系。
如上两种分解方法针对不同的项目要求进行组合应用,但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛,在经过阶段训练后,逐步利用归纳和演绎的思维,提升业务熟悉程度,完成业务的初始积累后,后续的分析过程中就可以逐步减少拓展推理的层级及组合,逐步提升问题原因定位的效率。
网易有数:企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台,采用PPT模式的报告制作,更加易学易用,具备强大的探索分析功能,真正帮助用户洞察数据发现价值。可免费试用。
- ?
成为一名数据分析师,必须掌握的技术,学会了你就是大神
Janna
展开
一:编程能力
是否会编程是区别初级数据分析师和高级数据分析师的分水岭。在这里,我定位的是高级数据分析师,所以编程能力尤为重要,我把它放在了第一位。
有关数据分析的编程语言有Python和R语言。R语言倾向于统计分析、绘图等。统计学家或者学统计学的喜欢用R语言,而我推荐学习Python,因为Python是面向未来的语言,无论从流行度、可用性还是学习难度来讲,Python都是最好的入门语言。
当然,如果可以的话,再掌握一下R语言是最好不过的,学习嘛,永无止尽。
书籍推荐《Python编程:从入门到实践》 豆瓣评分:9.0
当然,只有Python基础肯定是不够的,既然是学习数据分析,肯定就要有数据才行,数据从哪里来,肯定是从互联网上来。互联网上的信息何其之多,必须要对其加以过滤处理,提取我们想要的信息。这就要用到Python爬虫,这也是学Python一个很重要的目的和作用。
学习Python爬虫肯定比学习Python基础要困难一下,但好在网上的学习资源十分丰富,努力学习必定会有收获的。
关于Python爬虫的书籍,目前我还没有较好的书籍推荐,如果说实在要推荐的话,我推荐三本书:
《Python网络数据采集》 豆瓣评分:7.7
《Python爬虫开发与项目实战》 豆瓣评分:8.1
《精通Scrapy网络爬虫》 这是十月份出的新书,豆瓣上还没有评分。
知乎里面有很多爬虫大神,没事多逛逛知乎总会有收获的。
关于编程能力,是一个很深的概念,需要靠大量的撸代码积累经验。先暂且说到这些。
二:SQL
学习数据分析,最难最重要的就是编程能力,熬过去了,后面的就稍微简单一些了。
既然是跟数据打交道,就免不了要使用数据库。
目前主要有四种数据库:
1:SQLite 是一个文件型轻量级数据库,它的处理速度很快,在数据量不是很大的情况下,可以使用SQLite。
2:MySQL 是一个应用极其广泛的关系型数据库,它是开源免费的,可以支持大型数据库,很多中小型企业都是用的MySQL。
3:MongoDB 是一个面向文档的非关系型数据库,它功能强大、灵活、易于拓展。
4:Redis 是一个使用ANSI C 编写的高性能key-value数据库,使用内存作为主存储器。
它们各有优点,可以灵活使用,如果说非要选一个的话,我建议使用MySQL,因为它使用最广泛。学习最主流的技术,可以在一定程度上发挥更大的作用。
关于SQL的学习资源:
购买书籍推荐《SQL基础教程》作者:MICK
豆瓣评分:9.0,好像这本书出了第二版了,建议购买最新版的。
三:数据分析能力
前面说了那么多,都是为了数据分析做准备。数据分析就好比亲手做一顿美食,现在食材有了(通过Python爬虫采集),盛放美食的容器也有了(数据库)。现在就差开火做饭了,写到这感觉肚子饿了,哎呀,忍住。
对于数据分析,我还没有过多的涉足,总之,多看书,多做项目。
这里我推荐几本书(都是放在我购物车里还没有买的书)
学习数据分析必看的书单:
《Python数据分析基础》八月份的新书,豆瓣上还没有评分。
《利用Python进行数据分析》2013年的老书,豆瓣评分:8.5
《Python数据处理》六月份的新书,豆瓣上没有评分。
《用数据讲故事》 豆瓣评分:8.7
虽然我还没来得及看这几本书,但是我想认真看了之后,对于数据分析的理解肯定会更加深刻的。
四:数据可视化
现在美食做好了,但不能一股脑的装在碗里吧,美食讲究色香味俱全。所以要给它作一个漂亮的造型,呈现在客人面前。这就是数据可视化。
数据可视化需要借助工具,什么工具呢?那就是大名鼎鼎的tableau!
什么?你没有听说过tableau?现在听我说了也不迟,哈哈。
tableau是一款世界级的商业智能工具软件,tableau可以帮助我们快速的分析、可视化并分享信息。在福布斯2017年公布的《10大需求增长最快的职场技能》报告中,tableau高居第三,成为数据分析和可视化的职场必杀技。
说了这么多,咱们还是好好聊聊怎么学习tableau吧。tableau是一款收费软件,先看一下它的价格吧:
image
果然优秀的软件都是收费的,而且还贵的要死。
但是,tableau的良心之处在于:学生和教师可以免费使用tableau,只需要用我们的学生证信息去免费申请一个序列码,然后就可以下载激活该软件,有效期为1年,如果一年后还是学生的话,还可以用学生证再去申请一个序列号,然后再免费用一年。
- ?
学习大数据分析要什么基础,零基础入门ok吗?
Zeva
展开
CDA数据分析师原创作品
身处21世纪的今天,数据分析行业急剧发展,越来越多的企业已经意识到大数据分析的重要性和发展潜力,同时越来越多的传统行业公司开始转型升级,开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生,基于自己的文科背景担忧自己能否零基础入门大数据行业,毕竟隔行如隔山,到时学不进去又误了自己找工作的时间,也是左右皆空啊;或许你刚毕业一两年,当初浑浑噩噩毕了业随便找了个工作,现在终于觉得要好好规划人生了,正迷茫于到底要不要学习大数据分析技术进入人才济济的大市场岗位,好为自己的未来职业生涯奠定基础;或许你早已流转职场多年,感觉身处瓶颈期的自己已无晋升或提升空间,正为要不要转行到大数据分析行业而摇摆不定……其实, 一切的担心都是人之常情,一切的担心不过都是过眼云烟,“车到山前必有路”,我们只需问清楚自己的内心,自己到底想要什么。反正时光匆匆,与其踌躇不前倒不如给自己一个痛快,要知道,这是个人人必争的时代,这是个努力努力再努力的时代!
首先我们要知道什么是大数据?
顾名思义,大数据就是巨量数据,海量数据,也可以说是数量大,结构复杂,类型复杂的数据的集合。而从这些数据中获取有价值的信息的的能力,就是大数据技术。
大数据需要什么基础?学习大数据需要以下几个方面的基础:
1、 编程语言基础
2、 Linux系统的基本操作
3、 数据库
4、 Hadoop架构基础
5、 机器学习
一、编程语言基础
新手学大数据,首先要具备的是编程语言基础,如Java、C++等,要初步掌握面向对象、抽象类、接口、继承、多态和数据流及对象流等基础,编程语言在大数据中占据了不可逾越的地位,掌握一门编程语言再学习大数据会轻松很多,甚至编程语言要比大数据学习的时间更长。
二、Linux系统的基本操作
Linux系统的基本操作是大数据不可分割的一部分,大数据的组件都是在这个系统中跑的。重点是要学习一下Linux环境的搭建,搭建平台有Ubuntu、Centos。内容包括系统配置、系统安装、SSH、软件安装等。
三、数据库
只要跟数据打交道就离不开数据库,SQL语言是每个数据分析师必不可少的一项硬技能,当然,学习大数据SQL也是必经之路。
四、Hadoop架构设计
要学大数据,首先要了解的是如何在单台Windows系统上通过虚拟机搭建多台Linux虚拟机,从而构建Hadoop集群,再建立spark开发环境,完成大数据环境的配置搭建。也是学习大数据的第一步。
Hadoop生态体系HDFS分布式文件系统;MapReduce分布式计算模型;Yarn分布式资源管理器;Zookeeper分布式协调服务;Habse分布式数据库;Hive分布式数据仓库;Sqoop大数据迁移系统;Spark的基本应用等,是大数据生态圈的组件和作用。
五、机器学习
要使得大数据相关内容得到应用,则必然会涉及大量机器学习及算法的内容,发挥出大数据的优势,让你的办公效率更快,更强。这也是大数据最大的优势所在,使得计算机性能得到最大的利用。
学习大数据分析需要从以下几个模块入手:
大数据平台基础知识
数据库知识应用
大数据仓库知识应用
数学及统计学基础
Python机器学习
大数据平台分析Spark工具
大数据综合案例
时光匆匆,我们生活得也很匆忙,如何匆忙中取胜,如何匆忙中取静,一切都要看个人的造化。好比掘地挖井取水,很多人都半途而废,甚至还差几十厘米就挖通了水源,但坚持和忍耐实在太考验人,也太折磨人,但也区分出了优胜劣汰的结局,毕竟不是人人都可以成为“吃得苦中苦,方为人上人”的胜利者。不过选择却在我们手上,我们选择做“苦中苦之后的人上人”,还是“三天打渔两天晒网的无功而返者”,都要我们自己一步一步去拨开迷雾。当你在刻苦努力时,你想到的是一群在KTV通宵狂欢的买醉哥们,还是年纪轻轻早已行走在佛罗伦萨小镇度假的大学同窗,好好掂量,好好鞭策,相信你会做出更明智的选择!
- ?
「零一」《从0开始,教你做数据分析》—01篇
压抑感
展开
大家好,我是零一,今天开始给大家带来基础系列教程
本系列文章适合以下情况的读者:
1丶淘宝店铺运营或者店长,目前还不会做数据分析,渴望提升自己
2丶打算在淘宝开店的朋友,目前尚在混派代学习中
3丶其他对数据分析感兴趣的朋友,尚在入门阶段
本文是第一篇会比较基础,涉及的概念也少,旨在让读者动手了解工具。
我们直奔主题
数据分析的概念必须搞清楚。简单点说,数据分析是将数据进行清洗后,把隐藏在数据背后的信息提炼出来。
另外,值得一说的是,数据分析是获取新知识的新途径。
下面看一下菜鸟跟数据分析师的区别,引自《谁说菜鸟不会数据分析》一书
可以看出来,专业一点的数据玩家的思路会非常清晰,而且会以目的为导向,建议大家参考分析师的思路。
数据分析的过程已经有非常多的前人做出了总结,我还是引用书中的结果
分别是,明确分析目的和内容——数据收集——数据处理——数据分析——数据展现——报告撰写
做任何事情都要有目的,做数据分析也不例外,而且明确目的在数据分析里面上升到了一个非常重要的高度,甚至决定了你后面所做的一切有没有价值。
做数据分析必须运用工具,没有工具几乎无从开展,大家看下一般数据分析有哪些工具
可以看到,底层是数据库,在数据量大的情况下,需要动用到数据库。
报告层是Crystal Reports(动态和可操作的报表,没用过)
分析层是分析的工具,从左到右分别是Excel(Office套装里面的一员,据说可以和SAS媲美的数据工具之一),UCINET(社会网络关系分析,没用过),SAS(最古老最专业的数据分析工具),SPSS(IBM的工具,以简单易用闻名),clementine(已经被IBM收购属于SPSS系列)
最后是表现层,也就是做报告的一系列工具,我只接触过PPT和水晶易表,一般会用PPT就可以了。
接下来讲的数据分析,选择的是大家比较熟悉的Excel,Excel做深入分析的时候比较麻烦也有局限性,但就上手指数来说,Excel是排第一的。数据量在一百万条以内是足够的了。
我选用的版本是Excel 2010
第一步,我们要明确分析的目的和内容。因为是实例,我假设
目的:了解淘宝美容行业的市场情况
内容:1丶行业分析,2丶属性分析(采用折线图和饼图直观反映行业趋势和容量)
第二步,数据收集,一般手动收集,也可以用工具收集。
这里提供工具给大家做练习。提供的是仅支持美容大类的版本,运行环境,excel2010/2013,32位xp/WIN 7,假如没有生e经,那没关系,下面用到的数据源一样会共享给大家,拿着数据源就可以一步一步跟着操作。
数据来源:生e经(必须有开通生e经,并能查看相应行业数据)
数据宽度:21(月)
因为生e经按月展示数据,因此这里的数据宽度,就是月份数。
打开表格,然后,按下列图片次序操作
自己登陆生e经复制生e经的地址进来。登陆好,就把窗口关闭即可。其中c2代表服务器编号是2。
选择正确的服务器编号才能正常抓取。
选择好后,点开始抓取数据
耐心等待(等待时间和抓取的月份丶网速有关系),会在excel中出现结果,那么可以把这些数据复制到我们的另一个工作簿上,也可以导出为csv格式。
导出的文件可以保持在本地,方便下次提取。
第三步:数据处理,简单举例,可以跟着做。
做下简单的处理,这里提取年份使用这个公式:=LEFT(E2,4),提取月份使用这个公式:=RIGHT(E2,2),然后填充。如下图所示,鼠标移到单元格的右下角位置,会出现个黑色小方形,鼠标也会变成黑色的十字架,双击即可填充。
接着,我们插入数据透视表,鼠标点一下我们的数据,任意一个单元格都可以,只要在数据范围内,如图,我点在F10单元格。
点数据透视表,会自动匹配整个数据框。我们点确定即可。
点确定后,效果如下图所示
用鼠标,将字段拉到下面的相应位置即可
第四步:数据分析
我们现在就已经完成了数据透视表,通过这个透视表,就可以比较直观的对比各行业间的差异,但是都是数字,不免有些晕,或许用图表来展示会更加直观
点一下数据透视表,然后点插入——折线图,这里选择第一个样式即可(其他样式可以自己尝试)
结果如图所示
发现面膜/面膜粉的走势好像不错。
接着,我想看一下各行业的容量占比,重点看下面膜/面膜粉这个行业占比多少,就以2013年的数据来统计占比。还是插入数据透视表,先设置好字段,然后再选择2013.
接着,插入饼图
结果如图所示
这里看不到占比,而且也不知道哪个行业,这就需要我们设置一下图表。右击图表——添加数据标签
出现标签后,我们再右击一下标签,设置数据系列格式
按下图红框设置即可
然后改下标题,稍微把图表的尺寸拖大一点
这样,就比较直观了,面膜/面膜粉在2013年1-9月份中,销量占了整个美容护肤行业的16%。那么我想再仔细看看面膜/面膜粉行业的销量走势。依然先插入并设计数据透视表。
然后,插入折线图
结果如下图所示
两年的销量走势对比,可以看出2013年比2012年增长了不少。增长需要涉及到环比增长和同比增长两个概念,今天先不讲。我们通过目测就已经看出来,今年比去年火,但是这个结论还不是最终结论,只是简单建立在数据层面的初步结论,还要通过淘宝去验证,搞清楚销量的增长是来自哪里。假设是某几家品牌促销的结果,那么这个数据对于我们而言,意义就不一样了。或许我们自己是这个行业的一个品牌商,则需要把后面的分析重点转移到研究这几家品牌的营销研究上面来,弄清楚对手究竟如何改变了这个市场。
属性分析里面包含了SKU,操作方法跟上面类似,这里就不演示了。
第四步:数据展现
把我们以上得到的结果,进一步优化,更加直观丶有序地展现出来。
第五步:撰写报告(非商业严谨报告,以实用为主)
把所看到的,所想到的,通过文字的方式记录下来,方便自己或者他人阅读,了解我们的分析思路。
- ?
数据分析从零开始
Emmanuel
展开
数据分析是什么?
字面上理解就是对数据进行分析。具体的说就是,用适当的方法对收集来的大量数据进行分析,将他们加以汇总、理解、消化,开发出数据内部所表现的现象,发挥数据的作用,将有用想信息形成结论进行输出的过程。
数据分析的目的在于将隐藏在一大堆看似杂乱无章的数据背后的信息集中和提炼出来,总结出研究对象的内在规律,以帮助在实际工作中管理者的决策和判断。
数据分析一般分为:描述性数据分析、探索性数据分析、验证性数据分析。其中,描述性数据分析是最基础、最初级的,比如描述本月用户增加了多少,PV、UV是多少,都属于描述性数据分析。而探索性数据分析侧重于在数据中发现新的规律,验证性数据分析侧重于验证已有假设的真伪证明。后两者都是比较高级的数据分析。
数据分析的作用
1、分析现状:如企业的整体运营情况、企业的各项业务构成等日常数据。
2、分析原因:告诉你某一现状为什么发生。分析什么原因出现目前企业运营情况,是什么原因造成某项业务的增长或下降。
3、预测未来:告诉你将来会发生什么。大到对企业未来发展趋势作出预测,为企业制定运营目标、策略提供有效的依据,小到对一个功能以后的发展和规划提供数据上的支撑。
数据分析的步骤
1、明确分析目的和思路
什么事情都是在要想清楚目标和思路的情况下进行,不能乱来,不能摸着石头过河,这是在工作中和生活中都应该坚持的。只有这样才能目标明确,并围绕这个目标提出方法来解决。在数据分析中,我们不能拿着一堆数据,然后画了一堆图表,就觉得自己很棒了。而是要事先想好为什么要开展数据分析?本次分析是为了解决什么问题?分析才不容易误入歧途。才能用适当的方法进行适当的分析。
2、数据收集
数据收集一般包括一手数据和二手数据。一手数据指可直接获取的数据,大多数是公司自己的数据库。二手数据指经过加工整理的数据,如:互联网、公开出版物、市场调查调研资料。
3、数据处理
对收集到的数据进行加工处理,形成适合数据分析的样式。从大量杂乱无章、难以理解的数据中抽取并推导出对解决最终问题有帮助有意义的数据。其中包括数据清洗、数据转化、数据提取、数据计算等。原始数据就是再“干净”都需要处理后才能进行分析。
4、数据分析
用适当的方法对处理过后的数据进行分析,提取有价值的信息,最终形成结论。目前大多数数据分析都是通过软件来完成的,减常规的用Excel就能很好的完成数据分析。
5、数据展现
为了让非专业人士都一目了然,都需要将数据通过表格、图形的方式呈现出来。如:柱状图、饼状图、折线图、散点图、雷达图等。大多数情况下,人们对于图形这种方式来展现数据的接受度是很高的。能用图的情况下就不用表格,能用表格就不用文字。
6、撰写报告
分析完了、图画完了,最终肯定都需要形成一个报告。这个报告就是对整个分析过程的总结和呈现。把数据分析的起因、过程、结果及建议完整地呈现出来,供决策者参考。一份好的数据分析报告,需要一个好的分析框架,图文并茂、层次分明,能够一目了然,能够让阅读者正确理解报告内容和结论并产生思考。最终,明确的结论和围绕数据的建议都是必须的。
避免的问题
1、分析目的不明确
解决思想问题是第一要务,即一定要围绕你的分析目的,是为了什么进行分析。只有对自己的目的有清晰的认识,才知道要怎样去实现这个目的,需要通过哪些图标来展示,才会更好的进行问题分析。
2、业务知识不足
数据分析需要结合相应的业务知识、管理知识等方面的工作经验,不能仅仅是数字上的分析。而是在业务逻辑上有一定的关联性。要多思考数据背后的事实与真相,所以数据分析师不单纯是做数学题,还需要懂营销、管理、策略。
3、一味追求高级分析法、高级模型
很多人在数据分析中喜欢使用很高级的分析方法,比如:回归分析、因子分析等。觉得高级分析方法显得专业,结果才更有说服力。其实不然,高级的不一定是最好的,能够简单有效的解决问题的方法才是最好的。“不论黑猫白猫,抓到老鼠就是好猫。
- ?
零基础,如何成为数据分析师
虞梦琪
展开
刚毕业,无基础无经验,怎么入行呢?
我进入互联网行业完全是零基础,不是数据分析零基础,是样样能力零基础。零基础到什么样子?我找工作花了三到四个月时间,最后以运营身份入职。
我从来不是数理强人,大学虽学习过高数、统计学、SQL和C#语言,均是低空略过,都是简单的了解了,却没有学精。现在回头看,当时应该从哪一个感兴趣的方面多学一些。
刚开始接触数据分析的时候,了解到数据分析需要学到的工具有很多,包括EXCEL、SQL数据库、SPSS、SAS、Python等。学的东西太多,感觉自己学的挺难的。
其实零基础学习数据分析,最难的门槛不是技能,而是学习动力和坚持学下去。很大情况是环境因素逼迫人去学习,本身没有任何学习的驱动力和习惯。大学四年再一度过,可能学习性就消磨殆尽了。所以,从你决定学习的那一瞬间,你就要坚定你学数据分析的信念。
因为是零基础,所以才更需要主动性。数据分析本事是发展很快的行业,持续的学习是必须的能力,基础不如别人,至少靠努力来弥补吧。
至于从哪里学,就看你自己的选择了。自学的话可能会走一些弯路,还是需要一些老师带着你学,因为毕竟老师们都是有足够的经验的,能够教你在这个行业里面的一些前沿知识。至于是选择在线课程还是培训班,我个人建议是培训班了,自觉性这个东西在我这里是较为薄弱的,报班能在一定程度上提高我的学习效率。
在培训班的选择上,一定要注意培训班的实力。尤其是培训班的师资力量上,一定要至少7年经验的导师来带着你,这样你会受益更多。在这点上,我选择了AAA教育,他们的师资力量是非常雄厚的,而且有国际和国内一流的实践操作项目带着增长经验。
- ?
不懂计算机,不懂统计学,作为零基础的人,怎么自学数据分析?
卡门
展开
没有计算机基础,没有编程基础的人,该怎么学习数据分析,第一步要做到什么,然后应该做什么?怎么一步一步自学?先打哪些基础?很多人都在了解数据分析的时候,都会这么说。数据分析一定要统计学,编程基础吗?
数据分析如何开始?
我最早做数据分析是从网站统计开始的,从CNZZ到Google Analytics都有用过。我们能够这些地方知道什么呢?网站流量,用户情况,行为统计等等。以GoogleAnalytics为例,以下是我一个网站的流量图:
从这个图里面,我们可以看出什么呢?用户数有多少,每个用户访问几个网页,每个用户停留多长时间,跳出率有多高等等。
如果你是第一次看到这种图,那你肯定是一头雾水,WTF?什么是跳出率?什么是平均会话时长?
这也是开始学习的过程,接触到陌生概念,就去了解,不要因为一个概念不懂就停止学习。
经过一段时间的了解,我们学会了各个名词是什么意思,例如我们发现跳出率太高了,那么就证明网站存在某些问题,导致了用户很容易流失。那么我们就进一步, 查看用户的行为数据,例如热点图,点击图等等,分析是什么地方导致了这个问题。
PS:图上这个跳出率算是很低了,还不错。
这个图是流量获取概览图,我们可以通过这个图来了解流量是从哪来的,这也能帮助我们做流量的优化甚至引流的工作。
不要嫌网站统计显得low,基础数据分析都是从这个开始的。
接下来可以着手去搞一些自己感兴趣的数据,当然,这可能需要学习爬虫知识,一些数据库的知识。
你可以爬歌词,看大家在唱什么,也可以把公司的订单倒入,看订单有什么规律,还可以把女朋友的微博全部拿出来,看她到底对什么感兴趣。
这些,其实都是数据分析的应用,从简单的,基础的,自己感兴趣的开始。
- ?
零基础如何可以成为数据分析师?
小石头
展开
大数据在国内已经火热了一段时间,无论是政府还是企业都已开始重视大数据,纷纷设立大数据部门,数据之于企业的重要性不言而喻。据某招聘网站调查,一名有经验的数据分析师的年薪不低于20万。而数据工程师、数据科学家等则收入更高。
那么如何零基础如何在最短的时间内高效率的成为数据分析师?怎样成为数据分析师呢?很多初学者都有着各种各样的问题。今天,和大家一起探讨几个问题。
在长篇大论之前,我先给读者来一粒定心丸:零基础成为数据分析师是可能的事!
但俗话说“台上一分钟,台下十年功”。任何人取得的任何成就都不是一蹴而就的,学习之路更应如此,那么你需要的基本功是什么呢?在我看来,首先你要有兴趣,然后再谈其它,因为兴趣是最好的老师。
我假设你有兴趣,并且乐意学习,那么理论上还是有些很大程度上限制不了你的条条框框,诸如你的英文水平,数学水平,认知领悟能力等,不过只要你想学呀,那就没问题。
统计学
概率论与统计学,是你不可能逃避或者说你必须爱上的知识,他们是你入门的基石。
通过他们,你能学到什么是概率,什么是概率密度函数,什么是正态分布,什么是假设检验,什么是参数估计。你可以领略到贝叶斯大神的牛X之处,你也可以计算出某些事情的期望与方差,你还会见到排列组合(可能是高中的知识),更有甚者,你还会学到一笔画的问题,还会真正的分析三门问题,看看那些看似违背常理的事情是如何发生的?
有人说统计学是数学上的噩梦,可就算是噩梦,你也要笑醒。
对行业的了解程度
对特定行业的了解可以帮助数据分析师尽快进入状态,加速决策的过程。如果缺少这一前提,你的数据分析师可能不得不花时间来先对整体行业有一个大概地认知,学习相关知识,然后才能投入其中。
R语言
当我没有接触他的时候,我很污地认为他是“日”语言。后来逐渐接触他,发现它是一种非常美的语言。
为什么美,因为它可以做出许许多多美丽的图表!
像这样不明觉厉的
又比如这样充满美感的,都是出自它的超强的作图能力。
R语言主要适用于EDA(探索性数据分析),也就是你与数据之间的对话,是通过作图来找寻单变量,双变量或者多变量之间的关系,进而发现其相关性。
他的学习也不是很难,掌握了基本操作,要掌握核心的几个包(package),然后经常性的练习,善于借助帮助文档,所谓熟能生巧,就是这个道理。
Python
Life is short,I use Python.
人生苦短,我用Python。
Python语言是一门功能非常强大,实用型非常强的语言,Web编程,网络爬虫,而我用它是进行数据分析。
Python的基础知识一定要掌握好,万丈高楼平地,没有一个坚实的基础,再高大上的玩法都无济于事,不仅要知其然,还要知其所以然。List,Tuple,Dictionary,Set他们各自的特点要乱熟于心,信手拈来。
数据分析自然少不了要掌握pandas和numpy两个包,如果用到数据可视化(后面会讲到),肯定要用matplotlib包,这三个包基本上就是Python进行数据分析的半壁江山以上了,好好掌握,不能将就。
沟通能力
现代社会,工作通常要通过分工合作来完成。沟通成为其中必不可少的一环。所以你想要雇佣的数据分析师在这方面有所建树的话,可以极大地提升工作效率。另外,拥有良好沟通能力的专家懂得合理地呈现数据可视化成果并且讲好数据故事。
数据可视化
数据可视化(Data Visualization)是指你与观众之间的交流,与EDA不同的是,一个着重于探索,一个着重于表达。数据可视化,有许多好的网站资源,好的书籍可以参考。
我认为数据可视化的核心是作者能够清晰地传达最想让读者明白的东西。
我给你一张图,你一眼就能看出我想表达什么,这就是数据可视化。而不是乱七八糟,东拼西凑出来的看起来啥都不明朗,一个糟糕的可视化可能就会错失巨大的机会。
这里主要涉及的方面可能会涉及到JavaScript,这个和前端貌似有着千丝万缕的关系。我们使用的是JavaScript的库,图表插件主要使用的是D3和Dimple,前者自定义程度高,但是略复杂些;后者集成度比较高,操作使用方便,但是个性化元素比较差。他们都可以在网页上实现动态展示。
还有一类大数据据可视化软件,比如 tableau,FineBI,企业级用。由于企业对数据处理的稳定性和速度要求较高,chart插件在大数据量上的应用不是很多,主要会利用商业智能FineBI这类,来集成一个数据平台,做统一展示。
数据分析0基础
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并