淘宝店铺在进行店铺数据分析的时候，会使用到淘宝大数据分析平台，因为这些平台可以准确的帮您分析出数据，各位淘宝卖家，您知道如何做淘宝数据分析吗?下面的内容中小编会为大家详细的介绍的。

这个使用的是阿里指数，官方工具，完全免费的。首先，我先说一下自己用excel等工具做的分析，跟使用这些现成数据平台的区别。

1丶会用工具自己做分析，不单单局限在淘宝，这个时代什么行业都有数据，如果掌握了，你做什么都能应用到。用淘宝指数或者阿里指数只能局限在淘宝这一块。

2丶用现成的数据平台，只要求能看懂数据，几乎不需要自己动手分析数据。可能100个人里面有10个人能看懂这些数据并应用这些数据，如果要自己动手分析，100人里面可能只有2-3个有这种能力。往往能自己分析的机会会比别人多一点点。

我们回到主题，这一篇是送给小卖家或者准卖家，准卖家就是即将成为卖家的朋友。因为我们这个时候没有数据魔方，没有生e经，但是不用怕，依旧做得了分析。

提出一个概念：【风险把控】

其实无论什么时候，商业都需要控制风险，把商业活动的风险降到最低。但这4个字，特别对于小卖家或者准卖家而言，却异常重要，因为，我们经不起风险。犹如大海中的一叶孤舟，一个海浪打过来，就消失不见，这种案例我看得太多了。

因此，要学会风险把控，把风险降到最低。

这里是行业大盘，选择相应的类目后就可以看到。可以看到这个行业8月底就开始活跃了。因为淘宝采购指数上升，后面没有填充颜色的部分是对未来的预测。那么，要做的得赶紧。。现在可能已经慢人家一步了。依然注意看统计时间。

阿里指数连数据解读都给出来了。

1.未来一个月，睡衣丶家居服丶睡袍丶浴袍行业在淘宝市场：市场需求小幅上升。

2.建议采购商关注市场行情，保持备货。

这个是相关行业，或许可以拓展发现某些商机。

1.最近30天在睡衣丶家居服丶睡袍丶浴袍相关行业中，成人袜在淘宝的市场需求最大。

2.预测未来一个月，保暖上衣丶套装市场需求有较大增长。预测结果仅供大家参考，建议采购商结合自身实际情况，在关注所选行业之外，可以重点关注保暖上衣丶套装。

下面进一步看一下属性细分。这里统计的是30天数据。个人觉得这里非常强大，可以给卖家们参考，结合目标人群，选择符合市场的产品。这样可以大大降低风险。

浅蓝色的条形图代表淘宝在架的宝贝数，宝贝数越多，竞争越大。相应的，宝贝数越少，竞争就越小。

这里我注意到蝴蝶结，蝴蝶结应该是一个流行元素。

下面看一下价格，阿里给出的解读是

1.最近30天，所有面料的睡衣丶家居服丶睡袍丶浴袍，淘宝市场成交最多的商品价格带为>=78.1元，您的同行在1688市场采购最多的商品价格带为31.2~46.9元。

2.建议采购商根据自身情况，控制采购成本。

淘宝成交最多的是>=78.1元的产品，这个信息可以指导我们的定价。

下面看下阿里排行，这个是产品排行榜，可以选择统计时间是7天或者30天，还可以选择交易或者流量维度，流量维度就是看的人多的产品。

这个产业基地可以了解各行业各的产业分布哦。也是非常不错的！花不了多少时间，就可以知道各个地方有哪些产业，说不定你还可以发现自己所在的地方有不少优质产业。

==================================

整套认认真真，仔仔细细研究个1-2天，相信对整个市场的理解会上一层楼。

一直有人跟我说，看这些没用。其实有没有用真心是看自己，数据都是参考，几乎没有100%的数据。

其实，一些分析的思路，适用于很多领域。只是

文 | 帆软数据应用研究院 船长

数据分析就近几年看来，越来越有一种像通用技能发展的趋势，从生产、研发、市场、销售到运营，多多少会存在数据分析的需求。

关于数据分析，网络上有不少分析报告案例，但细细读来，好多都缺少辨证，逻辑不严谨，又或者分析得浅尝辄止。恰逢最近读了《大数据分析的道与术》，是一套很完整的理论书籍，结合自己多年的数据从业经验，积累了一些心得，想与大家分享。

作为一个唯物主义者，做事总是爱讲方法论。曾经“农村包围城市，武装夺取政权”作为方法论的代名词，总是挂在嘴边。那么数据分析工作，方法论是什么呢？是“先道后术，以道驭术”，也就是先了解数据分析的核心原则，再掌握数据分析的一些关键技术。

什么是数据分析？

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。其实简单理解，数据分析本身就是“数据”和“分析”两块工作。一方面是采集、加工、整理数据，另一方面是结合数据背景分析数据，从中提取出对业务有帮助的结论。

数据分析的成果通常是数据分析报告

。常见的就是带图、表的PPT、PDF文件，也有一些Web版的图表系统（有兴趣的，可以在应用商店搜索“数据分析”，有各类演示系统可以体验）。对于数据分析报告，类似议论文，分析是论点，数据就是论据。

数据分析有什么用呢？这个经常被问到，尤其当一篇花里胡哨的报告在网上发布，就有人说报告没用，顺带着撇一嘴数据分析也没用。

数据分析对企业的巨大价值体现在业务发展的前期（探索期）或阶段性改进期（颠覆期）。当探索和变革业务时，企业需要数据分析去明确业务中的问题、机遇及解决方案。企业最大的成本是决策成本，而数据分析是提高企业决策能力的关键；当业务模式相对成熟时，企业则需要数据建模来提升业务效率，减少运营成本等。

那，数据分析又有哪些普遍又典型的应用场景呢？笔者经验，主要是三个：掌握业务状态、分析业务潜力、评估业务进展。

场景-掌握业务状态

：我们需要通过对核心指标进行监控、解读和分析，掌握业务经营状况。比如某日销量出现异常波动，需要数据分析来定位原因。（产品A本周销量异常上涨10%，是什么原因？怎么分析？）在比如月末、季末部门做关键业务指标总结，并做业务发展趋势分析等。（本季度的关键数据指标如何？各项业务进展如何？都有哪些积极消极因素，具体多大影响，下个月、下个季度业务则呢么发展？）譬如下方用finereport搭建的数据平台，统计监测的业务数据。按照制定的业务分析规则展示，可以清晰地看到哪个环节出错。

销售额分析

销售团队分析

销售指标追踪

场景-分析业务潜力

：产品当前的主要问题是什么？下一步的发展潜力在哪里？从数据中挖掘问题原因并提出对策，指明产品的下一步改进方向。比如商品B近3个月流失了1000个会员，原因是什么（分析原因）？如何减少会员流失（找对策）？

场景-评估业务进展

：新上线的产品策略或新推进的运营活动，带来了多少业绩提升？项目的覆盖面和影响面如何？其中存在怎样的问题，如何进一步优化等等。比如针对部分客户，设计全新的促销策略，在本月执行后，如何评价促销策略带来的业绩提升？是否目标客户群比上个月购买额增长可以作为促销策略的成果？

既然数据分析有如此之多的应用场景和使用价值，那么怎么才能做好数据分析呢？只能说，太难，既需要工具技巧的掌握，又要有能明察秋毫洞若观火的业务经验。但相比而言，个人觉得后者更为重要，就像如果只知道方法论，但没有对业务的理解，如何实行的套路，数据分析只会浮于表面，既不能挖掘问题原因，也不能提供解决方案。

做好数据分析，不谈技术，先认清以下4个关键。

1、业务调研：理解业务是基础，否则分析是无本之木，甚至是个人意淫。

2、创新思考：广阔的知识面和积极的思考，是分析思路的源泉，数据分析的创新思考，实质上就是从更多的思路进行分析，找出最合理的思路。

3、逻辑推理：对数据指标作出正确的归因分析和判断。

4、可行建议：产生对业务切实有效的改进建议和执行方案。

“业务调研”是数据分析的起点，也是获取分析思路的基础，但是需要兼具深度和广度的“创新思考”，才能获取更独到的分析思路。分析思路也可以认为是统计数据的角度，完成数据统计后，需要“逻辑推理”来保证从数据到结论判断的正确性。最后，用“可行建议”来保证分析结论的落地执行，产生可量化的业绩。这就是数据分析从业务中来，回到业务中取得完成过程。

本文是笔者《大数据分析道与术》读书笔记第1篇，浅述了一下。下周将结合自身经验，对业务调研、创新思考、逻辑推理、可行建议逐一做解读分析。

文 |

帆软数据应用研究院

船长

先给大家讲一个数据分析的小故事，发生于四百年前。

在中世纪，科学界最大的争论在于，到底是地球围绕太阳旋转，还是太阳围绕地球旋转。那时候有一位伟大的天文学家叫第谷·布拉赫，为了解决这个人类科学最初的大争论，开始了寻求数据支持的伟大征程。当时丹麦国王专门为他建了一个天文台，配备了齐全的观测仪器。从那时之后的20年里，第谷每天晚上风雨无阻地观测行星运动的轨迹，把每个行星每天晚上的位置，精确地记录下来，是天文史上第一个真正地开始收集大数据的天文学家，但是他没有足够的智慧从中发现行星运行的规律。 后来，第谷的学生开普勒拿到大量的数据之后，摒弃了每一天的视角，他从每一年的视角来看：地球每365天就会回到原点，而其他的行星还在自己的轨道上运动。他把行星运动的轨道画出来了，得出了所有行星围绕太阳运动的结论。在此基础上，开普勒提出了著名的行星运动三大定律，成就了近代天文学的开端。

这个故事告诉我们：

1、数据是数据分析的基础。如果没有第谷20年如一日的观测记录，开普勒不可能取得如今的成就；而如果没有开普勒，第谷的所有观测数据，都将成为一堆毫无用处的废纸。

2、要客观的分析数据，具备数据分析的视角和思维。第谷一直以“地心说”的思想观察数据变化，开普勒接受了哥白尼的“日心说”思想，在新的角度上结合观测数据才发现行星运动的定律。

3、要学会合理利用数据。开普勒通过每年的观测数据，才发现了行星运动规律，当我们面对海量数据的时候，最需要的是独具慧眼，在繁杂的数据中找到我们需要的数据，才能真正的将数据运用起来。

随着大数据时代的到来，企业对数据价值的重视，数据分析师的市场越来越大，毫无疑问数据分析师已成为“当今最具发展潜力的职业”，吸引了无数像小编这样的热血青年，在迈进大数据行业之前，先来了解一下数据分析师工资收入多少？

在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内拉勾网上，我们通过爬虫采集数据进行分析发现，全国有29个城市的企业有数据分析师的岗位的人才需求，其中将近一半需求产生在北京市，需求量全国第一。排在前5的分别是：北京、上海、深圳、杭州、广州。数据分析这一职业大量集中在北上广深四大一线城市，以及杭州这个互联网和电子商务企业的聚集地。

通过以上数据可以得出一个结论：数据分析师这高精尖职位，有大量的工作机会集中在北上广深以及杭州，期待往这个方向发展的同学还是要到这些城市去多多尝试。当然，从另一个方面说，这些城市也都集中了大量的各行业人才，竞争压力想必也是很大的。

任何行业都是看经验的，经验是王道，数据分析师也不例外，按工作经验统计，工作3年至5年薪资待遇普遍不会低于15K，拥有8年至10年经验的数据分析师平均薪资可以达25K左右。怎么样是不是很心动？高薪职业就看你敢不敢来挑战喽！

数据分析师薪资这么美，工作是不是很累呢？关于数据分析师工作累不累，容大教育来告诉你。

成为一名合格的数据分析师，不是那么简单的，数据分析师这个职业很肯定说是前途无量，然而，这也说明这并不是一个容易上手的工作，就业门槛是不低的。数据分析师需要储备大量的知识，需要对信息、数据敏感，具备数据分析或数据挖掘的综合能力，承担的责任也是非常重大的。

那这是否代表数据分析师工作累，需要经常加班呢？NO！数据分析师这只是一个职业，工作累不累和公司行业有很大关系，当然与你的技能熟练程度有一定的关系，刚开始从事这一职业同学初期需要不断的学习，这时相对来说会累一些，当你有一定基础积累经验之后就好多了。

正所谓“吃得苦中苦，方为人上人”，要想成为一名优秀的数据分析师，赢得高薪走上人生巅峰，坚持就是胜利！

以上就是容大教育小编给大家分享的数据分析师薪资待遇如何，希望对小伙伴们有所帮助。

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6

什么是大数据分析？

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。利用大数据分析的技术，将海量数据以多维数据分析的形式表示，从不同的维度对数据进行更深入的观察和分析

大数据分析的六个基本方面

大数据分析生命周期的三个阶段

获取：结合传统数据构架与新数据结合，更快更好管理

分析：注重分析数据并形成洞察力

行动：利用洞察力为企业创造价值

大数据分析的应用

随着大数据的发展，大数据分析广泛应用在各行各业，其中在金融与零售行业应用较为广泛

大数据只是一个空洞的商业术语，当然，这并不是说大数据没有具体意义，只是对于不同的人有不同的含义。

A、对于投资人和创业者而言，大数据是个热门的融资标签，如今每一家互联网公司都急于把自己标榜为大数据公司

B、对于大多数互联网公司或者工程师而言，大数据实际上只有一个意思，就是把一堆乱七八糟的数据扔到 HDFS 上面然后进行计算

C、对于消费者或者互联网所谓的“用户“来说，大数据的意思的就是尽可能地搜集跟终端消费者相关的隐私，然后进行营销

大数据分析的成功案例（以百度大数据为例）

百度大数据中心与峨眉山景区强强联合，从搜索行为、游客人群、景区定制数据和百度舆情进行全面合作，以适应对数据的需求、掌控旅游发展的趋势；大数据合作为做好未来旅游发展奠定了重要的基础，能够做到早发现、早分析、早应对，对及时的做好精准营销、社群营销和网络营销都有积极的帮助，无疑是以大数据支撑“互联网+旅游”落地的极佳案例。

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。

本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。

为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。

我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径，我添加了一组树图，相信会对你找到正确的途径有所帮助。

注释：学习之路树状图

在这个树状图的帮助下，你可以根据你的兴趣和目标选择路径。 然后，你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字，下载高清版本。

目录表

1.如何开始？

2.在大数据领域有哪些职位需求？

3.你的领域是什么，适合什么方向？

4.勾勒你在大数据领域的角色

5.如何成为一名大数据工程师？

o什么是大数据行业术语？

o你需要了解的系统和结构

o学习去设计解决方案并且学习相关技术

6.大数据学习路径

7.资源

1.如何开始？

人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和MapReduce计算框架组成的，他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性，因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。）, 分布式计算，Kafka（Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统）,NoSQL（泛指非关系型的数据库）还是Spark（Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处）？”

而我通常只有一个答案：“这取决于你究竟想做什么。”

因此，让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。

2. 在大数据行业有哪些职业需求？

在大数据行业中有很多领域。通常来说它们可以被分为两类：

大数据工程大数据分析这些领域互相独立又互相关联。

大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需要去设计和部署这样一个系统，使相关数据能面向不同的消费者及内部应用。

而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

因此，简而言之，大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。

3.你的领域是什么，适合什么方向？

现在我们已经了解了行业中可供选择的职业种类，让我们想办法来确定哪个领域适合你。这样，我们才能确定你在这个行业中的位置。

通常来说，基于你的教育背景和行业经验我们可以进行如下分类：

教育背景（包括兴趣，而不一定与你的大学教育有关）

计算机科学数学行业经验新人数据学家计算机工程师（在数据相关领域工作）因此，通过上面的分类，你可以把自己的领域定位如下：

例1：“我是一名计算机科学毕业生，不过没有坚实的数学技巧。”

你对计算机科学或者数学有兴趣，但是之前没有相关经验，你将被定义为一个新人。

例2：“我是一个计算机科学毕业生，目前正从事数据库开发工作。”

你的兴趣在计算机科学方向，你适合计算机工程师（数据相关工程）的角色。

例3：“我正作为数据科学家从事统计工作。”

你对数学领域有兴趣，适合数据科学家的职业角色。

因此，参照着定位你的领域吧。

（此处定义的领域对你确定在大数据行业的学习路径至关重要。）

4.根据领域规划你的角色

现在你已经确定了你的领域，下一步，让我们规划出你要努力的目标职位吧。

如果你有卓越的编程技巧并理解计算机如何在网络（基础）上运作，而你对数学和统计学毫无兴趣，在这种情况下，你应该朝着大数据工程职位努力。

如果你擅长编程同时有数学或者统计学的教育背景或兴趣，你应该朝着大数据分析师职位努力。

5.如何成为一名大数据工程师

让我们先定义一下，一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则，你将一直盲人摸象。

为了明确你的需求，你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么？

5.1 大数据术语

大数据工程通常包括两个方面 – 数据需求以及处理需求。

5.1.1 数据需求术语

结构：你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型（即拥有架构）中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型，则称为非结构化数据。（种类：结构化/非结构化）。

容量：我们用容量来定义数据的数量。（种类：S/M/L/XL/XXL/流）

Sink吞吐量：用系统所能接受的数据率来定义Sink吞吐量。（种类：H/M/L）

源吞吐量：定义为数据更新和转化进入系统的速度。（种类：H/M/L）

5.1.2 处理需求术语

查询时间：系统查询所需时间。（种类：长/中/短）

处理时间：处理数据所需时间。（种类：长/中/短）

精度：数据处理的精确度。（种类：准确/大约）

5.2 你需要知道的系统和架构

情节1的解决方案：销售数据池

（这是我的个人解决方案，如果你想到一个更高明的解决方案请在下面分享一下）

那么，一个数据工程师会怎样解决这个问题呢？

需要记住的一点是，大数据系统的目的不仅仅是无缝整合各种来源的数据，而使其可用，同时它必须能使得，用于开发应用系统的数据的分析和利用变得简单迅速和易得（在这个案例中是智能控制面板）。

定义最后的目标：

1. 通过整合各种来源的数据创建一个数据池。

2. 每隔一定时间自动更新数据（在这个案例中可能是一周一次）。

3. 可用于分析的数据（在记录时间内，甚至可能是每天）

4. 易得的架构和无缝部署的分析控制面板。

既然我们知道了我们最后的目标，让我们尽量用正式术语制定我们的要求吧。

5.3.1 数据相关要求

结构：大部分数据是结构化的，并具有一个定义了的数据模型。但数据源如网络日志，客户互动/呼叫中心数据，销售目录中的图像数据，产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。

结论：结构化和非结构化数据

大小：L或XL（选择Hadoop）

Sink 吞吐量：高

质量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 处理相关要求

查询时间：中至长

处理时间：中至短

精度：准确

随着多个数据源的集成，重要的是要注意不同的数据将以不同的速率进入系统。 例如，网络日志可用高颗粒度连续流进入系统。

基于上述我们对系统要求的分析，我们可以推荐以下大数据体系。

6.大数据学习路径

现在，你已经对大数据行业，大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。

我们知道大数据领域充斥着多种技术。 因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。

下面你会发现一个你应该通过的树状图，以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项，但是如果你走上一条路，知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。

任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。

核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。

因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。

接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。

接下来，你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。

好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：大数据 ，获取更多学习大数据的资源，如果文章对你有有帮助，

请收藏关注，在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。

在互联网的下半场，不断精细化运营的背景下，产品经理不再是单纯的靠感觉来做产品，更需要培养数据的意识，能以数据为依归，来不断改善产品。

不同于公司专业的数据分析师，产品经理更多的可以从用户、业务的层面去看待数据，去更快更透彻的去寻找数据变动的原因。

科多大数据带你们看看在数据已经被有效记录的前提下，如何有效的去进行大数据分析呢？

一、明确数据分析的目的

1、如果数据分析的目的是要对比页面改版前后的优劣，则衡量的指标应该从页面的点击率，跳出率等维度出发，电商类应用还要观察订单转化率，社交类应用要注重用户的访问时长、点赞转发互动等频次。

不少新人在设计自己产品的时候，可能会花费很多时间在产品本身的设计上，却没有花精力思考如何衡量产品的成功与否，在产品文档上写上一句类似“用户体验有所”提升的空话，这样既不利于产品设计顺利通过需求评审，也无法更有效的快速提高产品的KPI指标。

2、如果数据分析的目的是探究某一模块数据异常波动的原因，则分析的方法应该按照金字塔原理逐步拆解，版本->时间->人群。

比如发现首页猜你喜欢模块最近的点击率从40%下降到了35%，暴跌5%个点，这个时候先看看是不是哪个版本的数据发生了波动，是不是因为新版本上线埋点遗漏或有误造成的。

如果版本的波动数据保持一致，再看看数据是从什么时候开始变化的，是不是因为受到了圣诞、元旦假日因素的影响，页面上其他模块上线了新的活动影响了猜你喜欢的转化。

如果不是，则再拆解是不是流量来源构成发生了变动，是不是新用户的曝光数量增加导致的。

产品经理需要带着明确的目的去分析数据，思考实现目标需要构建哪些维度去验证。大部分时候，产品经理需要非常耐心的一步一步的拆解细分，排查原因。

二、多渠道收集数据

收集方式一般有四类渠道。

1、从外部如易观或艾瑞的行业数据分析报告获取，需要带着审慎的态度去观察数据，提取有效准确的信息，剥离部分可能注水的数据，并需要时刻警惕那些被人处理过的二手数据。

2、从AppStore、客服意见反馈、微博等社区论坛去主动收集用户的反馈。我自己经常有空的时候就会去社区论坛看看用户的状态评论，一般这样的评论都是非常极端的，要么特别好，要么骂成狗，但这些评论对于自身产品设计的提升还是非常有益的，可以尝试去反推用户当时当刻为什么会产生如此的情绪。

3、自行参与问卷设计、用户访谈等调研，直面用户，收集一手数据，观察用户使用产品时所遇到的问题及感受。问卷需要提炼核心问题，减少问题，回收结果需剔除无效的敷衍的问卷。用户访谈需要注意不使用引导性的词汇或问题去带偏用户的自然感受。

4、从已记录的用户行为轨迹去研究数据。大公司一般会有固话的报表/邮件去每天甚至实时反馈线上的用户数据情况，也会提供SQL查询平台给产品经理或数据分析师，让他们可以更有深度的探究对比数据。

三、有效剔除干扰数据

1、选取正确的样本数量，选取足够大的数量，剔除极端或偶然性数据的影响。08年奥运会上，姚明的三分投篮命中率为100%，科比的三分投篮命中率为32%，那么是不是说姚明的三分投篮命中率要比科比高？显示有问题，因为那届奥运会，姚明只投了一个三分球，科比投了53个。

2、制定相同的抽样规则，减少分析结论的偏差性。比如两条Push文案，第1条“您有一个外卖暖心红包未领取，最大的红包只留给最会吃的你，点击进入”，第2条“送你一个外卖低温福利，足不出户吃喝热腾美味，点击领取”。实验数据表明，第二条Push文案的点击率比第一条同比高了30%。那么真的是第二条文案更有吸引力嘛？结果发现是第二条Push文案的接收人群的活跃度明显高于第一条造成的。

3、剔除版本或节假日因素的干扰，新版本刚上线时的数据表现往往会很好，因为主动升级的用户一般是高活跃度的用户。临近周末或大型节假日的时候，用户的消费需求会被触发，电商类应用的订单转化率也会直线上升。因此，在数据对比的时候，实验组和对照组的数据在时间维度上要保持对应。

4、对历史数据遗忘。人与数据技术不同，数据技术有着100%的记忆能力，而人类根据艾浩宾斯遗忘定律1天后只能记起33%，6天后25%，31天后21%。因此，我们要合理的选择筛选时间段。比如猜你喜欢模块不仅要对兴趣标签的计分进行一定的加权处理，也要结合商品的生命周期等因素做一系列的回归实验，得出受众人群对各类兴趣和购买倾向的衰退曲线，利用有规律的时间变化有效删除老数据，去提升模块的点击率。

5、实验需拆分A1组，也就是在实验组B和对照组A上再增加一组A1，A1和A的规则保持一致，然后探究AB的数据波动与AA1比较，剔除数据的自然/异常波动带来的影响。以我实际的A/B实验表明，设立A1组是非常重要且必要的，不管数据量级有多大，相同实验规则的两组在数据也会有一定的小幅波动，而这小幅波动在精细化运营的今天，对我们的判断可能形成较大的干扰偏差。

四、合理客观的审视数据

1、不要忽略沉默用户

产品经理在听到部分用户反馈的时候就做出决策，花费大量的时间开发相应的功能，往往结果，可能这些功能只是极少部分用户的迫切需求，而大部分用户并不在乎。甚至有可能与核心用户的诉求相违背，导致新版产品上线后数据猛跌。

忽略沉默用户，没有全盘的考虑产品大部分目标用户的核心需求，可能造成人力物力的浪费，更有甚者，会错失商业机会。

2、全面理解数据结果

如果实验结果的预期与我们的经验认知有明显的偏差，请不要盲目下结论质疑自己的直觉，而是尝试对数据进行更透彻的分析。

例如我曾经做过在首页给用户投放活动弹窗的实验，发现实验组的数据不管在首页的点击率，订单转化率乃至7日留存率方面都远超对照组，首页上的每一个模块的转化率都有明显的提升，远远超出了我们的预期，那这真的是活动弹窗刺激了用户的转化率嘛？

后来我们发现在首页能够展示出活动弹窗的用户，往往在使用环境时的网络状态比较好，在wifi环境下，而未展示弹窗的用户则可能是在公交/地铁/商场等移动场景下，网络通讯可能不佳，因此影响了A/B实验的结果。

3、不要过度依赖数据

过度依赖数据，一方面，会让我们做很多没有价值的数据分析；另一方面，也会限制产品经理本来应有的灵感和创意。

正像罗振宇在时间的朋友跨年演讲上提到的一样。用户要什么，你就给什么，甚至他们没说出来你就猜到了，这叫母爱算法，在内容分发领域没有人比今日头条做得更好，但母爱算法有很大的弊端，在推荐的时候会越推越窄。

另一面则是父爱算法，站的高，看得远。告诉用户，放下你手里的烂东西，我告诉你一个好东西，跟我来。正像乔帮主当年打造的iPhone系列产品一样，不看市场分析，不做用户调研，打造出超出用户预期的产品。

五、总结

美国最成功的视频网站Netflix通过基于用户习惯的分析，将大数据分析深入到电影的创作环节中，塑造了风靡一时的美剧《纸牌屋》。然而Netflix的工作人员告诉我们，不应该迷恋大数据

如果说电视剧评分9分是精品的话，大数据可以让我们脱离低分6分以下的风险，却也会带我们按部就班的走向平庸的绝大多数7-8分之间。

产品经理在直觉创造的心智能力，情感理解的社交能力，与大数据相结合，正确的理解数据，让数据真正嵌入到产品的设计中，切实解决用户的实际问题，方能真正做到所谓的“用户洞察”，让产品走到用户需求前面，超出用户的预期。

现如今90%的企业都在利用数据分析为其带来更加便利的服务，从而数据分析师这类人才可谓供不应求。但是并不是所有的数据分析师都配上当下的薪资，很多数据分析师一直都原地踏步，一两年后还是未能升职加薪，这都是有原因的。

那么如何判断自己是否合适做数据分析师呢？

首先，小编觉得无论做什么工作，兴趣都是最重要的，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他都会觉得不耐烦，那么显然他不适合做数据分析；如果对数据较敏感，能够一眼发现异常值，数据分布情况，这当然是最好的。

再则就是逻辑性了，可以试试爱因斯坦的那道最经典的逻辑题，看看能否解出来，需要多久；逻辑思维对数据分析是尤其重要的，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加的高效。

然后就是业务理解能力，最简单的就是先定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

以上这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

数据分析师具备技能

● 数据挖掘算法

● 软件建模运用

● 行业案例演练

● 宏观业务决策

总结

如果以上你都有，但如何快速获得岗位专业知识？自学还是接受培训？以下建议可供参考：

自学可以学习到编程技巧，但学不会数据思维和数据挖掘方法，如果是零基础或者刚入门建议通过参加培训系统学习一下相关知识。后续在实践中如果有发现有不足的地方可以通过自学进行补充。

参加培训有老师辅导，会少走很多弯路；同时有不懂的你可以问老师，学习起来会轻松一些。

参加培训会有一个学习和交流的圈子，学习氛围比较好，可以相互交流，共同成长；

分享 IT 技术和行业经验，请关注-技术学派。

作者：吴彬彬

我们在生活中，会经常听说两种推理模式，一种是归纳 一种是演绎，这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累，在此基础上快速定位业务问题，提升分析效率，但是对于刚入门的数据分析师，在项目经验不足的前提下，如何快速完成项目的分析报告？ 这里引进一种外展推理的思维模式，方便入门分析师的完成日常的工作。

那什么是外展推理模式呢？

在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分：规则，情况以及结果。

规则: 通常是对这个世界的看法；情况：就是这个世界存在的已知事实；结果：将规则用于情况，预期要发生的事儿。

这三个任何一个实体都可以作为推理的起点，然而起点不同意味着，推理的方法也有所差异。

以规则为起点的推理方法可以称之为演绎推理。

举个例子，如果平时不努力，考试成绩将不及格(规则)；现实中a平时不努力(情况)；所以a考试不及格(结果)。

以情况为起点的推理方法就是归纳推理。

a平时不努力(情况)；a考试不及格(结果)；所以a考试不及格的原因可能是平时不努力。

以结果为起点的推理方法就是外展型思维方法。

a考试不及格(结果)，考试不及格通常是由于平时不努力(规则)，检查是否平时不努力(情况)。

从日常工作中，我们可以发现，外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式，是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑，那如何进行外展推理呢？外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段，按日常的工作可以简化如下三个流程：

将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较，分离不同层级的因素，合并同一层级中相同的因素，确保各因素的独立性。按照正确的逻辑关系，把各因素进行排列组合。

如下图：我们可以将问题进行分解，分解的原则为

各部分之间相互独立 （Mutually Exclusive）所有部分完全穷尽 （Collectively Exhaustive）

在此基础上按层级进行数据分析定位，找到最细的原因。

在工作中，我们主要会用到的分解方法有这两种，

按业务职能结构划分，比如渠道，运营，功能等相关模块，将相关指标映射到主要模块，通过简单快速的沟通，能快速的定位问题原因，但是缺点是分析结果不够直接，依赖外部资源信息搜集。按因果结构划分（指标分解）营收=日活*付费率*arpu等指标因果关系进行划分，通过定位指标波动，定位最细指标，辅助维度下转，能够清楚的问题原因，该方式是较为稳妥的方式，是日常工作中的主要方式，但是缺点是需要构建相对完整的指标逻辑体系。

如上两种分解方法针对不同的项目要求进行组合应用，但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛，在经过阶段训练后，逐步利用归纳和演绎的思维，提升业务熟悉程度，完成业务的初始积累后，后续的分析过程中就可以逐步减少拓展推理的层级及组合，逐步提升问题原因定位的效率。

网易有数：企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台，采用PPT模式的报告制作，更加易学易用，具备强大的探索分析功能，真正帮助用户洞察数据发现价值。可免费试用。