大数据分析的五个基本方面

1、可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2、数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3、预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4、语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5、数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1、交易数据（TRANSACTION DATA）

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2、人为数据（HUMAN-GENERATED DATA）

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3、移动数据（MOBILE DATA）

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）。

4、机器和传感器数据（MACHINE AND SENSOR DATA）

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题之前检查设备）。

数据分析工具达到哪些要求和目的？

能应用高级的分析算法和模型提供分析以大数据平台为引擎，比如Hadoop或其他高性能分析系统能够适用于多种数据源的结构化和非结构化数据随着用于分析模型的数据的增加，能够实现扩展分析模型可以，或者已经集成到数据可视化工具能够和其他技术集成

另外，工具必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括（但不限于）：

集群和细分：把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更细分的目标市场。分类：把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。恢复：用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。联合和项目集挖掘：在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。相似性和联系：用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。神经网络：用于机器学习的非直接分析。

人们通过数据分析工具了解什么？

数据科学家们，他们想使用更复杂的数据类型实现更复杂的分析，熟知如何设计，如何应用基础模型来评估内在倾向性或偏差。业务分析师，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。企业经理，他们想要了解模型和结论。IT开发人员，他们为以上所有类用户提供支持。

如何选择最适合的大数据分析软件？

分析师的专业知识和技能。有些工具的目标受众是新手用户，有的是专业数据分析师，有的则是针对这两种受众设计的。

分析多样性。

根据不同的用户案例和应用，企业用户可能需要支持不同类型的分析功能，使用特定类型的建模（例如回归、聚类、分割、行为建模和决策树）。这些功能已经能够广泛支持高水平、不同形式的分析建模，但是还是有一些厂商投入数十年的精力，调整不同版本的算法，增加更加高级的功能。理解哪些模型与企业面临的问题最相关，根据产品如何最好地满足用户的业务需求进行产品评估，这些都非常重要。

数据范围分析。

要分析的数据范围涉及很多方面，如结构化和非结构化信息，传统的本地数据库和数据仓库、基于云端的数据源，大数据平台（如Hadoop）上的数据管理等。但是，不同产品对非传统数据湖（在Hadoop内或其他用于提供横向扩展的NoSQL数据管理系统内）上的数据管理提供的支持程度不一。如何选择产品，企业必须考虑获取和处理数据量及数据种类的特定需求。

协作。

企业规模越大，越有可能需要跨部门、在诸多分析师之间分享分析、模型和应用。企业如果有很多分析师分布在各部门，对结果如何进行解释和分析，可能会需要增加更多的共享模型和协作的方法。

许可证书和维护预算。

几乎所有厂商的产品都分不同的版本，购买费用和整个运营成本各不相同。许可证书费用与特性、功能、对分析数据的量或者产品可使用的节点数的限制成正比。

易用性。

没有统计背景的商业分析师是否也能够轻松地开发分析和应用呢？确定产品是否提供了方便开发和分析的可视化方法。

非结构化数据使用率。

确认产品能够使用不同类型的非结构化数据（文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等），并且能够解析和利用收到的信息。

可扩展性和可伸缩性。

随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。

三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？需要哪些技能？让我们一起来看看吧。

这3个职业是如何定位的？

数据科学家是个什么样的存在数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。数据工程师是如何定义的

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。他们的核心价值在 于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。

数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时 候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师该如何理解数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。

这3个职业具体有什么职责？

数据科学家的工作职责数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。数据工程师的工作职责分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说，能反映大数据工程师工作的最简单直接的例子就是选项测试（ABTest），即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。数据分析师的工作职责互联网本身具有数字化和互动性的特征，这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往“原子世界”中数据分析师要花较高的成本（资金、资源和时间）获取支撑研究、分析的数据，数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。

此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

想要从事这3个职业需要掌握什么技能？

A. 数据科学家需要掌握的技能

1、计算机科学

一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说，就是对处理大数据所必需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

2、数学、统计、数据挖掘等

除了数学、统计方面的素养之外，还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN(TheComprehensive R Archive Network)的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。

3、数据可视化(Visualization)

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要...

  随着大数据时代的来临，越来越多行业需要大量的数据分析师。以达到公司对于市场、产品、客户有能深刻的了解，从而在制定营销策略和运营策略的时候，数据导向是一个很有力的指导推力。

 如我们所知，数据分析的重要性，那么要作为一个合格的数据分析师的话。我们应该具备哪些潜质。

  第一：理解能力高

    要对公司的业务有很强的理解能力。每个业务都是由很多规则和基本元素组成的。比如公司要达到某一款产品的市场营销推广，那我们首先要通过数据来分析出来，我们的目标受众是什么样的？分布的地域在哪里？年龄阶段？性别？行业等等这些都是我们首先要对业务有一个了解。就是我们的营销目的什么。理解配合的具体业务。与 产品相关的业务和技术同学沟通，尤其在进行数据理解和运营理解的时候，需要知道数据元素的含义以及当前运营的方式和形成这种运营方式的原因;

第二：沟通表达能力强，有充分的耐心

数据分析师日常在做一些工作的时候，通常会面对在各种数据格式不统一，数据表存放混乱，以及业务流程／逻辑异常复杂。这个时候，我们一定要有足够的耐心，沉下来进行全面的数据流程确认，画出对应的流程图，理清楚分析重点。

如我们所知数据分析贯穿了数据仓库，技术，产品，业务等多个环节，这就涉及到我们需要和很多人沟通。沟通能力就显得尤为重要。在沟通之前，需要清楚的知道本次沟通的目的是什么，以及如何通过对方来达成自己有效数据分析的目标。与技术沟通，是理解参数含义，与运营沟通，是理解分析目标，与产品沟通，则更强调产品逻辑以及背后的思考。

第三：善于借助工具和事物

现在网络工具很多，有很多都可以帮助我们解决繁琐的数据问题，帮助我们建立数据模型，例如：SQL，Excle，SPSS，Matlab、Python等等

因此，数据分析师必须掌握并精通一两种数据分析编程技巧。包括从数仓取数据，对数据进行清洗，简化，或者补全，处理数据，计算数据，最后进行可视化表达。这样才能完成数据分析目标。这种技术对产品和运营人员也非常重要，只有学会处理数据，分析数据，才能在每个决策上面有据可依。

第四：独立思考的能力

作为一个高级的数据分析师，不光只会分析数据，还应该能够以现有的数据做出结论，给予相关执行人员参考方向。数据分析者应该在理解业务的基础上，扩大自己的思考范围，提升洞察力。

数据分析师是大数据衍生出来的一个岗位，也在实际的营销运营上起着至关重要的作用。种客观，理性，同时又科学的数据分析心态是非常重要的。

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

大数据本身是没有价值的，而如何对数据进行加工和分析，使其变成有用的信息资源，帮助企业发现需求、进行决策和盈利是人们关注的重点。我们从以下几个方面来分析影响大数据分析成功的几个重要因素。

清晰的业务需求（愿景和战略的一致性）

大数据的投入应该以确切的商业目标为导向，而不仅仅是追求科技的进步，因此，大数据分析的驱动因素应该是具体的商业业务需求及企业明确的发展战略规划，而不是盲目的跟风。

强有力、坚定的支持（负责人）

企业对大数据的投入需要有强有力的支持，否则很难成功，如果大数据分析的范围是少量的应用，则可能需要部门级的支持，如果大数据的分析涉及到整个企业的战略性转型及核心业务的调整，则需要企业最高领导人的支持。

立足事实的企业文化

企业的具体决策应该以数据为基础架构，而不是凭感觉和过往的经验来驱动决策的过程，这就要求企业要有事实求是的企业文化，同时要求企业高级经理要意识到有些员工并不愿意做调整，要说服他们并将激励和报酬与期望的行为联系起来。

坚实的数据基础设施

与传统的数据分析所需要数据仓库做为数据的基础设施不同，大数据分析需要新的技术来支持，大数据的成功分析需要新老技术的共同协作来创造一个整体协作的基础设施。

在互联网时代，数据是重要的资源，随着数据的持续增长和大数据技术的成熟，数据分析变得越来越重要，要看清楚瞬息万变的网络世界，要知道表象背后的真相，非靠数据分析不可，不管是大数据分析还是传统数据分析，其本质是一样的。数据分析是为了通过对数据现象的查看来完成对产品，营销策略，运营策略的优化。达到最低成本，最优效果。因此，数据分析师对应的要求也越来越高。那么，作为一名优秀的数据分析师，需要有哪些基本能力，才能完成数据分析目标，保证结果的正确性？

商业数据分析的根本目的就是要洞察数据背后的规律，基于此，企业可以制订决策、并采取相应措施和行动，进而达成想要的结果。这是商业数据分析的最大价值所在。

数据分析的四个能力

1. 对业务的理解能力

数据分析之前，首先要进行的是业务梳理。只有在实践领域从事过数据分析工作，就会明白所有分析的重中之重都是业务知识本身。而业务知识的学习和掌握，需要的积累之深，培养一个业务专家，需要的周期之长，都远远超过后面所说的那些基本技能，成为业务专家实属不易，数据分析师其实是之于业务专家之上的更深层次的思考和总结，否则，谁指导谁都是个问题。业务学习的方式很多，比如将以前的分析报告和取数案例都拿过来研究一下，不懂就问，总是一个渐进的过程，但需要时间和行业的沉淀。数据分析师最需要不断提升的能力就是行业和业务知识，没有之一。

提升业务理解能力有几个方法

多使用产品本身，只有不断的尝试产品，体验和了解各种产品，才能在分析时有直观的思考和总结；与 产品相关的业务和技术同学沟通，尤其在进行数据理解和运营理解的时候，需要知道数据元素的含义以及当前运营的方式和形成这种运营方式的原因;多思考产品的内在逻辑，多问几个为什么，这样才不至于做分析方案的时候，遗漏其它的业务流程，或者进行错误的数据模型设计。2.有耐心，善于沟通

数据处理和逻辑梳理需要足够的耐心，尤其是在各种数据格式不统一，数据表存放混乱，以及业务流程／逻辑异常复杂的情况下，作为数据分析师，一定要有足够的耐心，沉下来进行全面的数据流程确认，画出对应的流程图，理清分析重点。

同时，数据分析贯穿BIT、数据、技术、业务整个链条，数据分析师将BIT最终转化成决策者理解的语言，跨越的流程很长，你需要面对不同的岗位，碰到不同的角色，采用不同的语言，表达你的要求和获得你需要的东西，成为数据和业务的桥梁，没有足够的沟通能力很难。所以，需要具备一定的沟通能力。在沟通之前，需要清楚的知道本次沟通的目的是什么，以及如何通过对方来达成自己有效数据分析的目标。与技术沟通，是理解参数含义，与运营沟通，是理解分析目标，与产品沟通，则是强调产品逻辑以及背后的思考。同时，如果你容易听取他人的意见，特别是智者的意见，则可以帮你找到另一条出路，你犯错的概率就会降低，相应的，你的分析就更有力量和说服力。

3. 数据分析的技术

数据分析有很多技术可以支持，包括SQL，Excle，SPSS，Matlab、Python等等，这些都是通过编程完成基本的数据分析语言编写，然后进行执行得出结果。

因此，数据分析师必须掌握并精通一两种数据分析编程技巧。包括从数据仓库中获取数据，对数据进行清洗，简化，或者补全，处理数据，计算数据，最后进行可视化的表达。这样才能完成数据分析的目标。这种技术对产品和运营人员也非常重要，只有学会处理数据，分析数据，才能在每个决策上面有据可依。

但在公司的数据分析中，你在看案例时，往往接触到的数据或使用的数据是局部的，因此，你的视野会受局限，在大多数公司里，很多数据分析师其实缺乏全局的数据视野，因为他不知道到底有多少数据，因此，永远只能在已知的数据里转圈圈，

当然，大多数数据分析师可能不需要进行系统数据学习，在实践中慢慢熟悉就好了，但自顶向下的数据学习方式可以让你有一个更好的基础和更全局的数据视野。

4.独立思考的能力

数据分析并不仅仅是为了完成一些业务上面的数据需求和论证。数据分析者应该在理解业务的基础上，扩大自己的思考范围，提升洞察力。

成为一个优秀的数据分析师，需要在不同的业务中进行磨练，同时需要足够的耐心和深入业务的思考进行决策支撑。一种客观，理性，同时又科学的数据分析心态是非常重要的，对于公司和产品的发展也是必需。

数据总是在那里，它不会说话，你不仅要基于业务能力理解它，还要学会推演和分析，从中发现规律，迅速定位某个商业问题的关键属性和决定因素，形成自己独创性的见解，所谓心思缜密，滴水不漏，没有思考逻辑没有数据分析。而要形成独特的见解，则来自于个人不断的学习和思考，这里的学习更多的强调是跨领域和专业，思考则是更多的强调养成思考的习惯。思考本身就是一种实践，它可以将你的知识更加系统化和深入化，数据分析在一定程度上是用来验证思路和启发灵感的，“数据分析”从来不是“数据分析”本身，而是以“数据分析”为手段和表象，对业务的深刻理解、思考和判断。

数据分析的四个层次

描述性分析（Descriptive Analysis）诊断性分析（Diagnostic Analysis）预测性分析（Predictive Analysis）处方性分析（Prescriptive Analysis）描述性分析——发生了什么？

如题目名字一样，该层次主要是对已经发生的事实用数据做出准确的描述。比如某企业本月订单签约额比上月增加2000万，至5500万，但是订单履约率从上月的98%下降到了95%，库存周转率从上月的0.8下降到了0.7。那么，这就是发生了什么？就需要去描述性分析。

诊断性分析——为什么会发生？

知道发生了什么，对我们的帮助不大，更重要的是，我们要明白为什么发生。比如经过分析，发现在描述性分析中提到的订单履约率下降的原因是成品生产不出来，无法完成交付。而成品生产不出来的原因则是部分原材料的供应商未能按时送货，导致原材料不齐套，无法开始生产。那么，这就是诊断性分析。

预测性分析——可能会发生什么？

基于上述两个层次的分析，我们发现了其中的规律，即原材料供应商的未能及时送货会影响成品订单的履约率。假如上月某原材料供应商A送货及时率只有70%，通过建模，我们可以预测本月该供应商会使我们的订单履约率下降2%。那么，这就是预测性分析。

处方性分析——我们该做些什么？

有了预测性分析的结果后，我们无需再做事后诸葛亮，而可以运筹帷幄，在事前就采取措施。上述中，供应商A会导致本月我们的订单履约率下降，我们可能采取的措施就是把A换掉，但是现在有B和C两个供应商供我们选择，该选择哪个呢？通过分析和计算得出：选用供应商B会比选C的订单履约率高1%，因此建议选择供应商B。这就是处方性分析。

四个层次层层递进，经过这四个层次的分析以后，可以对企业的决策和行动提供有力支撑。

分享 IT 技术和行业经验，请关注-技术学派。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

就数据分析学习而言，需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向，一个是业务层面的方向，一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

Python 是目前科多大数据分析课程里面非常重要的一项内容，下面这张图更能直观反映学习内容

当然需要特别指出，数据分析课程学习内容肯定不止python这一项内容，还包括数据分析基础，互联网电子商务、经济学基础，数据产品（可视化报表）等各个板块的学习。

数据分析师这个职业越来越火，越来越多的人想往这个方向发展。

有在校生，也有转行的小伙伴来咨询数据分析师这个职业的相关问题。

从大部分情况来看，大家对于数据分析师的职业发展和技能非常关心。

那么别的先不说，数据分析入门到底要学什么？怎么学？

Excel

作为数据分析师，Excel是必备技能。Excel 是经过检验的可靠的数据分析工具，它广泛存在，非程序人员也能便捷操作，所以大多数企业即使也使用其他工具，但 Excel 工具还是他们的不二选择。

统计学

统计学同样是数据分析师的必备技能之一，你只有学好了统计学才能谈得上数据分析。统计知识会要求我们以另一个角度看待数据。当你知道AB两组的差异用平均值看是多傻的事情，你的分析技巧也会显著提高。如果你想成为一名出色的数据分析师，那么你就必须要会统计学。

推荐图书：《深入浅出统计学》

大概是最啰嗦的深入浅出系列，从卖橡皮鸭到赌博机的案例，囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性，数学推理一般。

SQL

sql是所有数据库查询的语言，sql非常容易入手。

针对不同的数据库，如mysql、sqlserver、oracle等，sql语法会有所不同，但是总体上大同小异，只是细微处的差别。

而且如果你有数据库基础的话，只需要找些sql查询的习题来做一下，就会很快的得到提高。

推荐图书：《MySQL必知必会》

学习 SQL 的入门书，薄册子一本，看起来很快。SQL 是个性价比很高的技能，简单而强大。任何想进一步提高自己数据分析技能的产品/运营/分析师 同学，都建议点亮 这个技能点。

数据分析思维

作为一名数据科学家需要很挑剔，并且善于发现他人会遗漏的东西。那么我们应该如何做到像数据科学家一样思考呢？

梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标（各类分析指标需合理搭配使用）。同时，确保分析框架的体系化和逻辑性。

推荐图书：金字塔原理

金字塔的基本结构是：中心思想明确，结论先行，以上统下，归类分组，逻辑递进。先重要后次要，先全局后细节，先结论后原因，先结果后过程。

行业知识

对于数据分析师来说，业务的了解比数据方法论更重要。而且业务学习没有捷径。这一部分也没有什么书可以看的了，基本都靠搜索，总结，思考，再搜索，总结，思考。

在先进技术逐渐融入自然学科的过程中，学科交叉现象已是大势所趋。

上次我们谈到了机器学习方向的

统计学知识

的学习方法：

机器学习入门——我的统计学该从哪里补起？

而对于数据分析在人工智能领域的应用，本次

竹间智能 数据科学家 张旭

，将分享一些AI方向必学的数据分析课程和相关知识，希望对有意进入该领域的同学有所帮助。

学习数据分析（AI方向）的课程前提，需要明确数据分析（Data Analysis）和数据科学（Data Science）的区别。数据分析算作数据科学的一个分支，除了机器学习（Machine Learning）外，还有很多偏重数据分析的内容，所以如果对于数据科学的各个分支都学的话，可能会因为学的太宽泛而导致多个课程都较难取得突破。

学习数据分析的重点，不仅仅是通过课程来学习知识，更是需要通过课程来培养数据的敏感性，利用数据来激发出更深远的洞察（insights）。

数据分析是一个实践性很强并容易运用于各个领域的专业技能，所以为了有效地学习数据分析，我们需要了解数据分析所涉及的几个重要环节，然后根据兴趣点来学习相关课程。

首先数据分析可以分为：

一、

处理数据(数据准备工作)

在训练模型（train model）前或者整理所需要的数据时，最重要的就是

数据的清洗处理

工作。可能多数情况下我们都在讨论各种Machine Learning的模型，但是如果训练集这一基础环节出现了问题的话，模型也不会很好。人工智能方向训练模型所需要的数据量比较大、维度也甚广，通常这些数据会有各种各样的问题，所以需要花时间清洗、整理数据。比如，处理缺失值、重复值、异常值等等，尽量将海量数据转换为自己想要的规范格式。

二、训练数据（数据分析过程中

）

在处理完数据后，可以做可视化处理（visualization），观察数据的趋势然后思考模型的运用，从回归模型（regression model）到神经网络，都要进行各种参数的检验工作，这一部分偏重

模型的学习

。

三、数据验证、测试、展现（数据后勤工作）

模型训练完后，会准备测试集去检测模型是否准确，根据测试结果找出其精确率（Precision）和召回率（Recall），并根据结果调参优化；同时考虑数据的拟合性。当获得数据分析的结果后，接下来重要的一点是如何将数据展现给他人。

如上面的总结，数据分析的前中后期，都可作为数据分析的不同核心点来进行课程学习，因此对于可能需要学习的课程和补充的知识，我从

理论知识

和

编程课程

两个维度总结如下：

1.

统计学、数学：

从代数、微积分、概率论等做入门功课，再到学习线性回归（Linear Regression）、Classification、决策树（Tree-Based Methods），再到支持向量机SVM(Support Vector Machine)、无监督学习（Unsupervised Learning）及流行的各种神经网络；

AI行业知识：

数据分析要有产品思考，所以你需要了解感兴趣的某一个人工智能分领域或人工智能与某个行业相结合的领域知识(对话、图像识别、语音、金融等)。

2.

Python、R等：

Python、R是Kaggle平台上用到的主要工具，也是最流行的数据分析软件；很多咨询公司会用SAS、SPSS、MATLAB等，因此看对哪个软件有兴趣，再去学习编程课程以及和数据分析相关的有趣的package；

SQL、NoSQL：

数据分析通常都需要掌握结构化查询语言SQL (Structured Query Language)的query语句来进行数据库的操作；通常会有mongodb、hbase等NoSql数据库，因此这些也可当做一门课程去学习；

Spark or Hadoop：

用分布式系统处理大数据也是数据分析的一个亮点，将编程运用到MapReduce进行海量数据挖掘处理；另外，能将数据存储在HDFS上，同样是个加分项；

Office及其他图形化软件：

要熟练掌握PPT、Excel等基础技能，将获取的结果用简洁易懂的方式呈现给看的人；做数据分析visualization很重要，需要学会使用各种可视化图形工具。

图片来源于网络。

竹间智能Emotibot以类脑对话系统和情感计算为核心，希望以人工智能技术助力更多行业、机构及个人拥抱AI时代，分享AI发展的红利。

如需转载，请联系竹间智能Emotibot，并注明出处。

相关阅读：

作为面试官，如何判断一个面试者的深度学习水平？

在网络，移动设备，传感器，社交媒体，交易应用程序，日志文件，大数据等实时数据泛滥的情况下，发现了大量垂直市场应用程序，从诈骗检测到科学研究。无论涉及重大隐私问题或企业困难的挑战如何，仅在2017年，大数据投资就获得超过570亿美元的增长势头。预计未来三年的投资将以约10％的年增长率进行增长。

大数据分析所需的基本资源

大数据咨询已成为软件开发服务提供商的可行选择。无论是营销还是品牌实施的新产品，公司都不会轻易作出决定。当提到任何重大举措时，企业都会寻找他们客户提供的数据，以确保公司正朝着观众遵循的方向发展。

从点击流数据到购物车上的信息，都有大量的材料需要筛选，这就是为什么企业支付高价值的大数据咨询服务才能理解这一切。对于新职业市场的人来说，大数据分析是一个不错的选择。 当然，必须熟悉开始处理数字所需的技能和工具。

大数据分析所需的五个资源如下：

1.完成MATLAB Mastery Bundle

MATLAB或Matrix是一个多范型数字计算空间和编程语言。用外行人的话来说，它是一种工具，它使得编写代码，运行脚本以及执行数据分析和可视化等任务变得轻松易懂，从而解决复杂问题，而这些代码还不那么复杂。

2. Python Power Code BONUS Bundle

市场上有许多重要的编程语言可供选择，数据分析师使用其日常任务和职责中的很多。但是，如果有人要先学习，那就是Python。 Python语言被誉为用户友好型以及直观性。此外，它拥有众多的功能，这使它能够处理数据争夺。 70小时的培训通过展示如何下载，提取，清理，汇总，分析和可视化数据，开始了编程教育。

3.大数据和分析主工具包

数据分析师和高级分析咨询人员使用大量的语言和工具来获取角色，这并不足为奇。这四个模块集合为数据库添加了四个重要的分析工具，即Minitab，SPSS，SAS和R Studio。

4.使用Tableau Desktop 9 Bundle进行数据可视化

通过交互式仪表板分析和呈现数据以完全挖掘信息的主要工具之一是Tableau 9.这个收集将使您了解Tableau。因此，可以开始创建自己的可视化数据。

5.完整介绍R编程包

R的核心是一种统计编程语言，它非常适合挖掘和分析数据。但是，它也具有高级图形和机器学习功能，在数据可视化和集成复杂算法方面提供了一些独特的优势。在五门课程和三本电子书中，收集指导通过要点使用R来充分发挥潜力。

大数据优势

大数据应用程序可让数据科学家，统计人员和其他分析专业人员分析越来越多的结构化数据以及其他形式的数据，而这些数据往往不被传统的商业情报和分析程序所利用。这涵盖了非结构化和半结构化数据的组合，例如互联网点击流数据，网络服务器日志以及来自客户电子邮件的文本，机器数据，社交媒体内容和通过连接的传感器到事物互联网的呼叫细节记录。

在更大的范围内，数据分析技术迎合数据集分析的手段，并最终帮助企业做出充分知情的决策。商业智能查询回答关于业务绩效和操作的基本查询。大数据是一种高级分析，涉及复杂的应用程序元素，如预测模型，统计算法等。

用数据咨询创造新的增长机会

数据分析可以创造大量新的增长机会。此外，它甚至可能会产生一个新的业务类别，例如分析和汇总行业数据的类别。大多数企业将处于大量关于服务和产品，供应商和买家，消费者偏好和意图以及更多信息流的信息中。

各行各业的企业都应该开始大力创造数据功能。除了广泛的数据外，数据的高频率和实时性也是至关重要的。通过数据分析，实践被更广泛地使用。

今天的大数据和分析应用市场真是巨大。世界各地的软件开发服务提供商提供了大量的数据咨询工作。现在，大数据体验意味着更有可能从软件开发组织获得有利可图的工作。市场很大，有一系列的项目，交易，服务和合作关系。咨询服务可能会有所不同，具体取决于组织的特定要求，以及需要利用数据分析和解决方案的功能，这些功能可以简化业务流程。