- ?
学会数据分析,你就可以变身007
粱开山
展开
今天我想给大家讲个关于林彪的故事。林彪的是非功过我们不去评述,毕竟我们不是谈历史的节目,今天我讲的是林彪在一场战役中的表现,我们的侧重点在于我们能够从中学习什么,我知道这个故事呢是因为有一位叫黄永的朋友,他是军事爱好者,也是一家企业的老板。下班以后他就沉浸到自己的军事世界,我们聊天的时候说到一个地名,他就先思索这个那里是不是曾经发生过什么战役,这一份痴迷我也是醉了。不过从这样的朋友身上真是能学到东西,和他聊天很长学问,我又扯远了是不是,其实并没偏题,这说的还是学习呀,我们要学会随时随地学习,不管是从朋友身上还是看场电影。
话说1948年辽沈战役开始以后,在东北野战军前线指挥所里面,每天深夜都要进行例常的每日军情汇报,由值班参谋读出下属各个重队、师、团,用电台报告当日的战况,还有缴获的情况。那就是千篇一律的枯燥无味的数据,比如每支部队歼敌多少,俘虏多少,缴获的火炮,车辆多少,枪支物资多少。林彪是东北野战军的司令员,他的要求很细,俘虏要分清军官和士兵,缴获的枪支要统计出机枪、长枪、短枪,击毁和缴获那些还能使用的汽车,也要分出来大小和类别。经过一整天紧张的战斗指挥工作,人们都非常疲劳,整个作战司里面估计只有定下这个一个规矩的司令员林彪本人还有那个读电报的倒霉参谋在用心的留意。
在1948年的10月14号,东北野战军以迅雷不及掩耳之势,仅仅用了30个小时就攻克了对手原以为可以长期坚守的锦州并全歼了守敌十余万之后,不顾疲劳,挥师北上,和廖耀湘的精锐部队二十多万人在辽西相遇,一时间形成了混战。战局瞬息万变,谁胜谁负实在是难以预料。战场可不是闹着玩的,如果你看过《血战钢锯》这样的电影,你就会明白,战场简直就是地狱。我们生活在和平时代的人看到电影里的血腥镜头就会发晕,那真实的战场上每时每刻都在发生着那样的惨烈状况。
在紧急的大战中,林彪不管有多忙,仍然坚持着每晚必做的功课。一天深夜,值班参谋正在读着下面某司报上来的战报,说他们下面的部队碰到了一个不大的遭遇战。歼灭了一部分敌人,其余的逃走了,这份报告听上去和其他之前所读的战报并没有什么明显的异样。值班参谋就这样读着读着,林彪突然叫了声停!然后问,刚才念的在胡家窝棚的战斗的缴获,你们听到了吗?大家带着睡意的脸上就出现了茫然的神色,因为这样的战斗每天都有几十起,不都是差不多的一模一样枯燥的数字吗。林彪扫视了一周,看到没有人回答,就接连问了三句,为什么那里缴获的短枪和长枪的比例比其他的战斗略高。为什么那里缴获和击毁的小车和大车的比例比其他的战斗略高。为什么在那里俘虏,击毙的军官和士兵的比例比其他战斗略高。
人们还没有来得及思索,林彪等不及,大步走向挂满军用地图的墙壁,指着地图上的那个点说,我猜想,哦,不,我断定,敌人的指挥所就在这里。随后林彪就口授命令,追击从胡家窝棚逃走的那一部分敌人,并且坚决要把他们打掉。各部队采取分割包围的办法把失去了指挥中枢以后变得混乱的几十万敌军切成了小块,逐一歼灭。司令员的命令随着无线电波发向了参战的各个部队,而这个时候的廖耀湘正庆幸自己刚刚从偶然的一场遭遇战中安全脱身,还和自己的另外一支部队会合。他来不及休息就急于指令各部队尽快调整部署,为下个阶段战斗做准备。可是好景不长,紧追而来的解放军迅速把他的新指挥部团团围住,拼命攻击。漫山遍野的解放军战士口中还不断有人喊着“矮胖子,白净脸,金丝眼镜湖南腔,不要放走廖耀湘”。把对方指挥官的细节特征琢磨到如此细微,并且把它变成了威力巨大的顺口溜。当时穿着满身油渍伙夫服装的廖耀湘只好从俘虏群中站出来,无奈的说我是廖耀湘,举手投降。
对于自己的失败,廖耀湘觉得不可思议,认为那就是一个偶然事件,输得非常的不甘心。但是当他得知林彪是怎么样得出了这个判断以后,这一位出身黄埔军校并且曾经留学法国著名的圣歇尔军校,参加过滇缅战役,在那里把日本鬼子揍得满地找牙的新六军军长说,我服了,败在他手下不丢人。那到底为什么廖耀湘服了呢?
取得这场重要战役的胜利,可不是靠运气。其中一个关键因素是林彪的准确判断,是他对一份普普通通遭遇战之后的战报数据分析,而这来源于他的一个优良军事素养。他从红军带兵时期,身上就有一个小本子,上面记载着每一次战斗的缴获、歼敌数量。数据的积累,数据的挖掘,分析、归纳、整理,既是一支优秀团队所必须具备的基本素养,也是生活在移动互联时代的人们所需要掌握的基本技能。没有这种能力成功可能真的是靠运气和匹夫之勇,而不是真正的实力,也不能带来长久的成功。
从这个故事里,你有什么启发呢?我们每天都在和数据打交道,但我们有没有发掘出数据的价值呢?有一位叫数据小兵的朋友,对这个案例做出了分析,得出了一个数据分析的简单流程,明确目的,获取数据,数据探索,数据分析,提交报告。就林彪这个案例来说,我们分别来看看。首先明确目的,这是通过歼敌的数量和缴获的数据来发现异常,判断敌情。其次,获取数据。由专人负责收集,由下而上,逐成快速流转,从各个部队各个部门传向了司令部。
第三是数据探索,从来自各个方向的数据流向了一个节点,那就是司令部林彪。那必须要对这来自不同方向的各个数据进行口径统一格局式的整理还有纬度的分类汇总,否则就容易乱套。那么第五就是数据分析,林彪采用了对比分析,从时间的维度方面,空间的维度方面,还有其他维度进行对比,发现了显著的差异,确定了敌情。那最后就是分析报告,对比分析之后就得出结论,并且由此制定策略。有人可能要说了,我们又不打仗,你跟我们说这些有什么用呢。当然有用了,比如我们要找一份工作,是不是可以运用这样的数据分析流程?最好出来的分析报告就是一份像样的简历啊。
所以在学习的过程中我们不要总是觉得那个事情和我没关系,有没有关系需要我们去思考去结合,而不是带着排斥的想法去看待这些事物,包括有些人可能觉得林彪是历史罪人,所有有关他的一切我们必须都要持批判的态度。如果那样的话真的不是正确的学习态度。这就像我们上学的时候,如果老师对我们好点,长得漂亮点,那门课我们就上得有劲头,如果老师长得丑或者是非常的凶恶,那我们就不愿意学那门课了。但是现在我们已经是成人了,对不对,不能再那么孩子气了。
数据小兵是搞数据分析的,所以他会从自己的专业角度来看这个案例,你可以从他的看法中进行借鉴,但是原则上来说你应该有自己的看法,结合你的实际工作,你从案例中有什么样的收获呢?你能不能举出自己经历过的非常得意的数据分析例子?
- ?
数据分析入门:如何训练数据分析思维?
家耷
展开
作者:吴彬彬
我们在生活中,会经常听说两种推理模式,一种是归纳 一种是演绎,这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累,在此基础上快速定位业务问题,提升分析效率,但是对于刚入门的数据分析师,在项目经验不足的前提下,如何快速完成项目的分析报告? 这里引进一种外展推理的思维模式,方便入门分析师的完成日常的工作。
那什么是外展推理模式呢?
在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分:规则,情况以及结果。
规则: 通常是对这个世界的看法;情况:就是这个世界存在的已知事实;结果:将规则用于情况,预期要发生的事儿。
这三个任何一个实体都可以作为推理的起点,然而起点不同意味着,推理的方法也有所差异。
以规则为起点的推理方法可以称之为演绎推理。
举个例子,如果平时不努力,考试成绩将不及格(规则);现实中a平时不努力(情况);所以a考试不及格(结果)。
以情况为起点的推理方法就是归纳推理。
a平时不努力(情况);a考试不及格(结果);所以a考试不及格的原因可能是平时不努力。
以结果为起点的推理方法就是外展型思维方法。
a考试不及格(结果),考试不及格通常是由于平时不努力(规则),检查是否平时不努力(情况)。
从日常工作中,我们可以发现,外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式,是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑,那如何进行外展推理呢?外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因,之后的重点就是收集资料,以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段,按日常的工作可以简化如下三个流程:
将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较,分离不同层级的因素,合并同一层级中相同的因素,确保各因素的独立性。按照正确的逻辑关系,把各因素进行排列组合。
如下图:我们可以将问题进行分解,分解的原则为
各部分之间相互独立 (Mutually Exclusive)所有部分完全穷尽 (Collectively Exhaustive)
在此基础上按层级进行数据分析定位,找到最细的原因。
在工作中,我们主要会用到的分解方法有这两种,
按业务职能结构划分,比如渠道,运营,功能等相关模块,将相关指标映射到主要模块,通过简单快速的沟通,能快速的定位问题原因,但是缺点是分析结果不够直接,依赖外部资源信息搜集。按因果结构划分(指标分解)营收=日活*付费率*arpu等指标因果关系进行划分,通过定位指标波动,定位最细指标,辅助维度下转,能够清楚的问题原因,该方式是较为稳妥的方式,是日常工作中的主要方式,但是缺点是需要构建相对完整的指标逻辑体系。
如上两种分解方法针对不同的项目要求进行组合应用,但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛,在经过阶段训练后,逐步利用归纳和演绎的思维,提升业务熟悉程度,完成业务的初始积累后,后续的分析过程中就可以逐步减少拓展推理的层级及组合,逐步提升问题原因定位的效率。
网易有数:企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台,采用PPT模式的报告制作,更加易学易用,具备强大的探索分析功能,真正帮助用户洞察数据发现价值。可免费试用。
- ?
如何进行数据分析
残城殇
展开
这是一个来自百度内部培训关于数据分享的、阅读类的PPT,文字说明非常充分,适合刚入门数据分析的朋友进行学习。
主要内容:
1、什么是数据分析(道)
1.1 数据分析是什么?
1.2 什么是做好数据分析的关键?
1.3 分析要思考业务,尤其是接地气
1.4 分析要言之有物,行之有效
2、数据分析方法(术)
3、常见的统计陷阱
4、PPT蕴含的人生哲理
来自:36大数据
- ?
怎么样Excel做数据分析?这几个步骤帮到你
鬼灵子
展开
每个人都会有机会进行数据展示,为什么别人展示永远获得正视,而我的展示永远只有自己愿意去看,别人在看手机?那怎样做数据图表分析呢请看以下步骤:
如何对表格进行修饰,本次小编带来两个技巧,一是使用“套用表格格式”,和使用“条件格式”。二是带领大家学会养成修饰表格的思维。
第一步是对表格进行粗略的修饰调整,思维:行高、列宽、对齐方式、表格线等;
使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味,而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化,从而达到一目了然的效果。
第一个技巧,①“套用表格格式”。方法:任一单元格→开始→套用表格格式。
②“条件格式”,方法:选中单元格区域→开始→条件格式。
条件1:高于平均值
条件2:数据条
条件3:色阶
第二个技巧:养成修饰图表的思维。这次举例柱形图的修饰例子,其他希望大家动用类似的方法进行模拟实践。
步骤一:根据销售数据建立柱状图,建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标
步骤二:添加辅助线。选择数据源→→添加→点击柱体右键,设置数据系列格式→次坐标轴→选中柱体,右键更改图表类型→折线图。
希望回答对你能有所帮助,如果觉得不错就来点个赞或关注吧,感谢各位了!
- ?
如何做好数据分析?
於正豪
展开
先给大家讲一个数据分析的小故事,发生于四百年前。
在中世纪,科学界最大的争论在于,到底是地球围绕太阳旋转,还是太阳围绕地球旋转。那时候有一位伟大的天文学家叫第谷·布拉赫,为了解决这个人类科学最初的大争论,开始了寻求数据支持的伟大征程。当时丹麦国王专门为他建了一个天文台,配备了齐全的观测仪器。从那时之后的20年里,第谷每天晚上风雨无阻地观测行星运动的轨迹,把每个行星每天晚上的位置,精确地记录下来,是天文史上第一个真正地开始收集大数据的天文学家,但是他没有足够的智慧从中发现行星运行的规律。 后来,第谷的学生开普勒拿到大量的数据之后,摒弃了每一天的视角,他从每一年的视角来看:地球每365天就会回到原点,而其他的行星还在自己的轨道上运动。他把行星运动的轨道画出来了,得出了所有行星围绕太阳运动的结论。在此基础上,开普勒提出了著名的行星运动三大定律,成就了近代天文学的开端。
这个故事告诉我们:
1、数据是数据分析的基础。如果没有第谷20年如一日的观测记录,开普勒不可能取得如今的成就;而如果没有开普勒,第谷的所有观测数据,都将成为一堆毫无用处的废纸。
2、要客观的分析数据,具备数据分析的视角和思维。第谷一直以“地心说”的思想观察数据变化,开普勒接受了哥白尼的“日心说”思想,在新的角度上结合观测数据才发现行星运动的定律。
3、要学会合理利用数据。开普勒通过每年的观测数据,才发现了行星运动规律,当我们面对海量数据的时候,最需要的是独具慧眼,在繁杂的数据中找到我们需要的数据,才能真正的将数据运用起来。
- ?
如何做数据分析师?教你从零开始系统规划大数据学习之路
ES
展开
大数据的领域非常广泛,往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多,这同样使得初学者难以选择从何处下手。
本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路,提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。
为了解决这个问题,我在本文详细阐述了每个与大数据有关的角色,同时考量了工程师以及计算机科学毕业生的不同职位角色。
我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径,我添加了一组树图,相信会对你找到正确的途径有所帮助。
注释:学习之路树状图
在这个树状图的帮助下,你可以根据你的兴趣和目标选择路径。 然后,你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字,下载高清版本。
目录表
1.如何开始?
2.在大数据领域有哪些职位需求?
3.你的领域是什么,适合什么方向?
4.勾勒你在大数据领域的角色
5.如何成为一名大数据工程师?
o什么是大数据行业术语?
o你需要了解的系统和结构
o学习去设计解决方案并且学习相关技术
6.大数据学习路径
7.资源
1.如何开始?
人们想开始学习大数据的时候,最常问我的问题是,“我应该学Hadoop(hadoop是一款开源软件,主要用于分布式存储和计算,他由HDFS和MapReduce计算框架组成的,他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性,因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。), 分布式计算,Kafka(Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统),NoSQL(泛指非关系型的数据库)还是Spark(Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处)?”
而我通常只有一个答案:“这取决于你究竟想做什么。”
因此,让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。
2. 在大数据行业有哪些职业需求?
在大数据行业中有很多领域。通常来说它们可以被分为两类:
大数据工程大数据分析这些领域互相独立又互相关联。
大数据工程涉及大量数据的设计,部署,获取以及维护(保存)。大数据工程师需要去设计和部署这样一个系统,使相关数据能面向不同的消费者及内部应用。
而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。
因此,简而言之,大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。
3.你的领域是什么,适合什么方向?
现在我们已经了解了行业中可供选择的职业种类,让我们想办法来确定哪个领域适合你。这样,我们才能确定你在这个行业中的位置。
通常来说,基于你的教育背景和行业经验我们可以进行如下分类:
教育背景(包括兴趣,而不一定与你的大学教育有关)
计算机科学数学行业经验新人数据学家计算机工程师(在数据相关领域工作)因此,通过上面的分类,你可以把自己的领域定位如下:
例1:“我是一名计算机科学毕业生,不过没有坚实的数学技巧。”
你对计算机科学或者数学有兴趣,但是之前没有相关经验,你将被定义为一个新人。
例2:“我是一个计算机科学毕业生,目前正从事数据库开发工作。”
你的兴趣在计算机科学方向,你适合计算机工程师(数据相关工程)的角色。
例3:“我正作为数据科学家从事统计工作。”
你对数学领域有兴趣,适合数据科学家的职业角色。
因此,参照着定位你的领域吧。
(此处定义的领域对你确定在大数据行业的学习路径至关重要。)
4.根据领域规划你的角色
现在你已经确定了你的领域,下一步,让我们规划出你要努力的目标职位吧。
如果你有卓越的编程技巧并理解计算机如何在网络(基础)上运作,而你对数学和统计学毫无兴趣,在这种情况下,你应该朝着大数据工程职位努力。
如果你擅长编程同时有数学或者统计学的教育背景或兴趣,你应该朝着大数据分析师职位努力。
5.如何成为一名大数据工程师
让我们先定义一下,一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则,你将一直盲人摸象。
为了明确你的需求,你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么?
5.1 大数据术语
大数据工程通常包括两个方面 – 数据需求以及处理需求。
5.1.1 数据需求术语
结构:你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型(即拥有架构)中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型,则称为非结构化数据。(种类:结构化/非结构化)。
容量:我们用容量来定义数据的数量。(种类:S/M/L/XL/XXL/流)
Sink吞吐量:用系统所能接受的数据率来定义Sink吞吐量。(种类:H/M/L)
源吞吐量:定义为数据更新和转化进入系统的速度。(种类:H/M/L)
5.1.2 处理需求术语
查询时间:系统查询所需时间。(种类:长/中/短)
处理时间:处理数据所需时间。(种类:长/中/短)
精度:数据处理的精确度。(种类:准确/大约)
5.2 你需要知道的系统和架构
情节1的解决方案:销售数据池
(这是我的个人解决方案,如果你想到一个更高明的解决方案请在下面分享一下)
那么,一个数据工程师会怎样解决这个问题呢?
需要记住的一点是,大数据系统的目的不仅仅是无缝整合各种来源的数据,而使其可用,同时它必须能使得,用于开发应用系统的数据的分析和利用变得简单迅速和易得(在这个案例中是智能控制面板)。
定义最后的目标:
1. 通过整合各种来源的数据创建一个数据池。
2. 每隔一定时间自动更新数据(在这个案例中可能是一周一次)。
3. 可用于分析的数据(在记录时间内,甚至可能是每天)
4. 易得的架构和无缝部署的分析控制面板。
既然我们知道了我们最后的目标,让我们尽量用正式术语制定我们的要求吧。
5.3.1 数据相关要求
结构:大部分数据是结构化的,并具有一个定义了的数据模型。但数据源如网络日志,客户互动/呼叫中心数据,销售目录中的图像数据,产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。
结论:结构化和非结构化数据
大小:L或XL(选择Hadoop)
Sink 吞吐量:高
质量:中等(Hadoop&Kafka)
完整性:不完整
5.3.2 处理相关要求
查询时间:中至长
处理时间:中至短
精度:准确
随着多个数据源的集成,重要的是要注意不同的数据将以不同的速率进入系统。 例如,网络日志可用高颗粒度连续流进入系统。
基于上述我们对系统要求的分析,我们可以推荐以下大数据体系。
6.大数据学习路径
现在,你已经对大数据行业,大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。
我们知道大数据领域充斥着多种技术。 因此,你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同,如数据科学和机器学习中,你可以从某些地方开始并努力完成这一领域内的所有工作。
下面你会发现一个你应该通过的树状图,以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项,但是如果你走上一条路,知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。
任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。
核心是,大部分大数据技术都是用Java或Scala编写的。但是别担心,如果你不想用这些语言编写代码,那么你可以选择Python或者R,因为大部分的大数据技术现在都支持Python和R。
因此,你可以从上述任何一种语言开始。 我建议选择Python或Java。
接下来,你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据,没有人会认真对待。 请尝试在AWS,softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次,让学生练习。如果你想的话,你可以暂时跳过此步骤,但请务必在进行任何面试之前在云端工作。
接下来,你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库,以便根据你感兴趣的领域进行学习。
好了,今天的知识就分享到这里,欢迎关注爱编程的南风,私信关键词:大数据 ,获取更多学习大数据的资源,如果文章对你有有帮助,
请收藏关注,在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。
- ?
数据分析怎么学习,要学习什么内容?数据分析学习路线
情绪
展开
就数据分析学习而言,需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向,一个是业务层面的方向,一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。
1.统计基础
理工科的学生在本科阶段学习过概率论与数理统计,单从做数据分析的角度已经够用。其他方面,可以根据需要查看相关书籍,随时进行查漏补缺即可。个人推荐《深入浅出统计学》,可以让统计理论的学习有趣又自然。
2.数据库知识
关系型数据库很重要。在学习数据分析的初期甚至很长一段时间,你接触到的数据都存储在关系型数据库中,需要学习SQL语言进行数据查询。关于SQL语言,强力推荐《SQL必知必会》,整本书通俗易懂,是学习SQL语言的不二之选。
学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通,比如:SQL中对data进行group by的操作,这个在Excel里类似于透视表,在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程,你会接触到分布式数据库和所对应的no-SQL语句。
3.编程能力
Excel。 透视表(Pivot Table)是做数据分析的必备技能。透视表可以帮你迅速汇总数据,看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶,Excel自带的函数、各种插件,以及VBA也是很好的工具。
Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时,需要学些hardcore技能,即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python,一是代码简单易懂,容易上手;二是学习资料多,降低学习成本。推荐《利用Python进行数据分析》,涵盖了利用Python做数据清洗,数据可视化及分析的技能点,可以作为一本工具书随时查阅。
Python 是目前科多大数据分析课程里面非常重要的一项内容,下面这张图更能直观反映学习内容
当然需要特别指出,数据分析课程学习内容肯定不止python这一项内容,还包括数据分析基础,互联网电子商务、经济学基础,数据产品(可视化报表)等各个板块的学习。
- ?
成为一名数据分析师,必须掌握的技术,学会了你就是大神
从蕾
展开
一:编程能力
是否会编程是区别初级数据分析师和高级数据分析师的分水岭。在这里,我定位的是高级数据分析师,所以编程能力尤为重要,我把它放在了第一位。
有关数据分析的编程语言有Python和R语言。R语言倾向于统计分析、绘图等。统计学家或者学统计学的喜欢用R语言,而我推荐学习Python,因为Python是面向未来的语言,无论从流行度、可用性还是学习难度来讲,Python都是最好的入门语言。
当然,如果可以的话,再掌握一下R语言是最好不过的,学习嘛,永无止尽。
书籍推荐《Python编程:从入门到实践》 豆瓣评分:9.0
当然,只有Python基础肯定是不够的,既然是学习数据分析,肯定就要有数据才行,数据从哪里来,肯定是从互联网上来。互联网上的信息何其之多,必须要对其加以过滤处理,提取我们想要的信息。这就要用到Python爬虫,这也是学Python一个很重要的目的和作用。
学习Python爬虫肯定比学习Python基础要困难一下,但好在网上的学习资源十分丰富,努力学习必定会有收获的。
关于Python爬虫的书籍,目前我还没有较好的书籍推荐,如果说实在要推荐的话,我推荐三本书:
《Python网络数据采集》 豆瓣评分:7.7
《Python爬虫开发与项目实战》 豆瓣评分:8.1
《精通Scrapy网络爬虫》 这是十月份出的新书,豆瓣上还没有评分。
知乎里面有很多爬虫大神,没事多逛逛知乎总会有收获的。
关于编程能力,是一个很深的概念,需要靠大量的撸代码积累经验。先暂且说到这些。
二:SQL
学习数据分析,最难最重要的就是编程能力,熬过去了,后面的就稍微简单一些了。
既然是跟数据打交道,就免不了要使用数据库。
目前主要有四种数据库:
1:SQLite 是一个文件型轻量级数据库,它的处理速度很快,在数据量不是很大的情况下,可以使用SQLite。
2:MySQL 是一个应用极其广泛的关系型数据库,它是开源免费的,可以支持大型数据库,很多中小型企业都是用的MySQL。
3:MongoDB 是一个面向文档的非关系型数据库,它功能强大、灵活、易于拓展。
4:Redis 是一个使用ANSI C 编写的高性能key-value数据库,使用内存作为主存储器。
它们各有优点,可以灵活使用,如果说非要选一个的话,我建议使用MySQL,因为它使用最广泛。学习最主流的技术,可以在一定程度上发挥更大的作用。
关于SQL的学习资源:
购买书籍推荐《SQL基础教程》作者:MICK
豆瓣评分:9.0,好像这本书出了第二版了,建议购买最新版的。
三:数据分析能力
前面说了那么多,都是为了数据分析做准备。数据分析就好比亲手做一顿美食,现在食材有了(通过Python爬虫采集),盛放美食的容器也有了(数据库)。现在就差开火做饭了,写到这感觉肚子饿了,哎呀,忍住。
对于数据分析,我还没有过多的涉足,总之,多看书,多做项目。
这里我推荐几本书(都是放在我购物车里还没有买的书)
学习数据分析必看的书单:
《Python数据分析基础》八月份的新书,豆瓣上还没有评分。
《利用Python进行数据分析》2013年的老书,豆瓣评分:8.5
《Python数据处理》六月份的新书,豆瓣上没有评分。
《用数据讲故事》 豆瓣评分:8.7
虽然我还没来得及看这几本书,但是我想认真看了之后,对于数据分析的理解肯定会更加深刻的。
四:数据可视化
现在美食做好了,但不能一股脑的装在碗里吧,美食讲究色香味俱全。所以要给它作一个漂亮的造型,呈现在客人面前。这就是数据可视化。
数据可视化需要借助工具,什么工具呢?那就是大名鼎鼎的tableau!
什么?你没有听说过tableau?现在听我说了也不迟,哈哈。
tableau是一款世界级的商业智能工具软件,tableau可以帮助我们快速的分析、可视化并分享信息。在福布斯2017年公布的《10大需求增长最快的职场技能》报告中,tableau高居第三,成为数据分析和可视化的职场必杀技。
说了这么多,咱们还是好好聊聊怎么学习tableau吧。tableau是一款收费软件,先看一下它的价格吧:
image
果然优秀的软件都是收费的,而且还贵的要死。
但是,tableau的良心之处在于:学生和教师可以免费使用tableau,只需要用我们的学生证信息去免费申请一个序列码,然后就可以下载激活该软件,有效期为1年,如果一年后还是学生的话,还可以用学生证再去申请一个序列号,然后再免费用一年。
- ?
纯干货!教你如何快速学会大数据分析
花留
展开
什么是大数据分析?
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)。利用大数据分析的技术,将海量数据以多维数据分析的形式表示,从不同的维度对数据进行更深入的观察和分析
大数据分析的六个基本方面
大数据分析生命周期的三个阶段
获取:结合传统数据构架与新数据结合,更快更好管理
分析:注重分析数据并形成洞察力
行动:利用洞察力为企业创造价值
大数据分析的应用
随着大数据的发展,大数据分析广泛应用在各行各业,其中在金融与零售行业应用较为广泛
大数据只是一个空洞的商业术语,当然,这并不是说大数据没有具体意义,只是对于不同的人有不同的含义。
A、对于投资人和创业者而言,大数据是个热门的融资标签,如今每一家互联网公司都急于把自己标榜为大数据公司
B、对于大多数互联网公司或者工程师而言,大数据实际上只有一个意思,就是把一堆乱七八糟的数据扔到 HDFS 上面然后进行计算
C、对于消费者或者互联网所谓的“用户“来说,大数据的意思的就是尽可能地搜集跟终端消费者相关的隐私,然后进行营销
大数据分析的成功案例(以百度大数据为例)
百度大数据中心与峨眉山景区强强联合,从搜索行为、游客人群、景区定制数据和百度舆情进行全面合作,以适应对数据的需求、掌控旅游发展的趋势;大数据合作为做好未来旅游发展奠定了重要的基础,能够做到早发现、早分析、早应对,对及时的做好精准营销、社群营销和网络营销都有积极的帮助,无疑是以大数据支撑“互联网+旅游”落地的极佳案例。
- ?
学习大数据分析,从哪里开始学习,怎么学?
两岸
展开
业务分析是巨大的!业务分析有助于决定如何使用数据,以及可以使用哪些模型来做出更好的业务决策。业务分析可以被称为“企业的数据科学”。尽管有许多模型可用于做出业务决策,但业务分析有助于识别最佳模型。
2.业务分析是一个使用组织中可用的所有统计数据达成建设性结论的程序/研究。组织雇用业务分析专家,评估公司以前的报告,以了解他们是否正确进行。过去的报告有助于他们评估即将发生的事件是否有利于组织或反对。在这两种情况下,对公司都有利。如果企业处于正确的轨道,他们仍然可以改善,如果没有,那么它可以帮助他们找到解决办法来纠正这个问题。
3.首先要掌握基础数学和统计学。了解为什么和在哪里使用平均值,中位数和模式。在你开始之前,你需要爱上你的数据,这是我的教授所说的。当你写关于女朋友的诗,你必须知道我可以从中知道什么。不要用大数据驱动我的误解或数据分析是hadoop,spark等框架。当然,他们有助于更快地获得结果,但逻辑与我们如何将数据转化为有用的信息。按照array老师的视频课程。无论你是学生还是做任何工作,如果你能知道你做什么,那就很容易根据它来找到答案。
4.
· 了解统计信息和多变量统计信息
· 学习SQL和数据库
· 学习编码(Python,R)
· 学习使用新的非结构化数据类型
· 参加MOOC课程数据科学课程(Coursera,Udacity等)
· 考虑数据科学或数据分析的研究生学位
5.您应该深入分析计算的基础知识。您应该了解可扩展性,容错能力,复制性,开放性,地理独立性等分布式编程中的问题。要分析大数据,您需要对统计信息或机器学习有较好的了解。您也可以使用Hadoop,HBase,Hive等分析大数据的工具。DBMS的基础知识也是首选。要使用任何大数据工具,如hadoop,您应该知道一种编程语言(比如Java或Python)。如果要集中精力编程大数据,从分布式计算开始,然后尝试设置一个hadoop集群(单节点,然后是多节点)。我们公司的一个java开发在学Hadoop,别人给了他一套视频,我看了看从基础入门、生态圈组件、商业项目讲解都挺详细的。需要视频的可以到他鹏you圈留言,你可以通过TBanna521找到他。
怎么学会数据分析
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并