运营分很多类，流量运营、用户运营、内容运营…每一个环节都有特别关注的数据和指标。

很多分析都是从PV、UV、用户数来切入，但是分析之后呢，做什么措施？以什么样的目标来驱动？我也分析做过这样的分析，这些常规的数据大多只是绑定着个人的KPI，反应这个人工作成绩的好坏，并不是一场完整的数据分析。这里我想从更全面的角度来总结互联网企业的运营体系，精益数据分析。

数据分析的目的应该是为了公司的发展，粗暴一点讲，是为了公司的盈利和持续的盈利。

而互联网的盈利模式不同，数据指标也不同，大抵可分为三种：一是向用户出售商品或服务，以电商、社交和o2o平台为代表；二是靠广告来进行盈利，典型的例如google、百度以及其他平台类互联网公司；三是直接向用户收取费用，各大游戏公司。

以分析体系最为复杂的互联网电商公司为例，来逐一分解，哪些数据需要分析，怎样分析，分析的价值是什么。

电商类公司的收入是由一个个订单堆出来，由用户购买相关的商品或服务产生，可以说用户和商品或服务为订单的两大基本元素，公司收入下降、增长、异常最终都可以追踪到用户与商品这两大元素上。这样我们将收入相关的数据拆解为三大类：用户、商品和订单。

一、运营模块

从用户的消费流程来看，可以划分为引流-转化-消费-存留。我们一般将用户分为新老用户，无论新老用户，都会关注两块内容，一个是引流（拉新），一个是转化，最终以数据的形式体现出来，就是流量与转化率。

引流

通过分析PV、UV、访问次数、平均访问深度、跳出率等数据来衡量流量质量优劣。目的是保证流量的稳定性，并通过调整，尝试提高流量。

进一步，按照流量结构还可分为渠道结构、业务结构、地区结构。

在渠道中，流量可来自于自主访问、搜索引擎、淘宝付费、京东付费等等。按设备可分为PC渠道和APP渠道；按照付费与否可分为免费流量和付费流量。有人会通过渠道流量占比来分析各渠道的质量。下面的折线图可以对各渠道的流量情况进行追踪，分析占比不合理是短期内出现的，还是长期存在的，辅助问题的分析。仅仅根据流量情况来衡量质量是不全面的，需要配合转化率和roi。

按地区划分，这个很好理解。

按照业务结构，最典型的比如举办一场活动，例如双十一，可定要对活动的流量追踪。观察活动前、活动中、活动后的变化情况，评估活动效果。

转化

完成引流工作后，下一步需要考虑转化，这中间需要经历浏览页面->注册成为用户->登陆->添加购物车->下单->付款->完成交易。每一个环节中都会有用户流失，提高各个环节的转化率，是这一块工作的最核心，转化率的提升，意味着更低的成本，更高的利润。

转化的分析：

1.观察各环节转化率，分析其合理性，针对转化率异常环节进行调整

2.追踪转化率变化，用于异常定位和策略调整效果验证

3.观察各渠道转化情况，定义渠道价值，并依此适当调整运营策略

4.分析各环节转化周期，分析用户习惯，为制定运营策略提供依据

最直接的分析成果就是转化漏斗。

留存

通过各个渠道或者活动把用户吸引过来，但是过一段时间就会有用户流失走掉，当然也会有一部分用户留下来，留下来这部分用户就叫做留存用户。关于留存，这里要关注的就是日活和留存率。

关于留存，无非就是：

1.日活监控，观察用户活跃数据，分析日活健康度

2.观察存留规律，定位存留阶段，辅助市场活动、市场策略定位等

3.对比不同用户、产品功能的存留情况，分析产品价值、辅助产品调整

复购

有调查数据显示，一个满意的用户会带来8笔潜在生意，不满意的用户可能会影响25个人的购买意愿，可见回头客多么重要。

复购率可以分为“用户复购率”和“订单复购率”，此外，“用户回购率”意义与复购率相似，也在此范围内。

用户复购率＝单位时间内：购买两次及以上的用户数/有购买行为的总用户数

订单复购率＝单位时间内：第二次及以上购买的订单个数/总订单数

用户回购率＝单位时间内：有购买行为的老用户数/有购买行为的总用户数

分析复购率的目的：

1.综合指标展示，分析用户黏性，辅助发现复购率问题，制定运营策略。

2.横向维度(商品、用户、渠道)对比分析，细化复购率，辅助问题定位。

流失

流失是无法避免的，但也有可以挽留的。

流失可以分为

刚性流失：可以进一步分为新用户水土不服型和老用户兴趣转移型，这部分流失用户是无法挽留的，缘尽于此，花再多的钱也没什么用。体验流失：可能是应用体验、服务体验、交易体验、商品体验等等，总之就是在使用产品\服务的过程中，感到了一丝不爽，正所谓一言不合就流失。竞争流失：也就是用户已经转粉了。可能是竞争对手的体验更好，可能竞争对手推出了什么优惠的政策。我们也需要抓住行业的动态，针对竞争对手的抢粉行为做出相应的行动。关于流失的定义，各公司定义不同，可能是7天内没有登陆行为，也可以是几个月之内没有交易行为。（回流率＝时间周期内流失的再回访的人数/时间周期内流失的人数）

关于流失的常规数据监控，一般都是和存留一起的，本身两者也是分不开的。单独针对流失的，最多看到如下图样式的监控：

再者，流失率结合存留率也可以评估渠道的价值。

二、销售模块

1、指标跟踪：销售模块中有大量的指标，包括同环比、完成率、销售排行、重点商品占比、平台占比等等，可以从人、货、场三个视角进行分析跟踪。

2、店铺分析：具有小b级用户，或者入驻平台式，需要针对各店铺经营指标进行分析，包括各店铺效率指标、完成率指标、业绩指标、客单价等，实现店铺价值评定分析。

3、销售活动管理：线上销售中，活动是非常重要的一块，从事前、事中、事后三个层面实现销售活动的闭环分析，其中包括事前投入分析、目标预测；事中用户参与度、客流分析、销售单分析；事后目标完成情况、活动对比、费销比、活动衰减度、活动爆发度等。

可参考：如何针对业务场景做数据分析？

三、商品模块

1、采购管理：包括供应商数据分析、采购匹配度分析等。

2、供应链环节管理：供应链服务情况分析（响应周期、交货及时率、订单执行率）、管理指标分析（物资成本占比、客户投诉率等）。

3、库存管理：商品库存天数、存销比、有效库存比、库存周转率等数据分析。

4、重要指标分析：分析包括货龄、动销率、缺货率、结构指标、价格体系、关联分析、、畅滞销等分析指标，评判商品价值，辅助调整商品策略。

5、异常商品分析：包括对退货率、残损率、异常商品等数据进行分析，发现异常商品，及时处理。

四、用户模块

1、重点指标分析：包括新增用户数、增长率、流失率、有效会员占比、存留率情况等。

2、用户价值分析：根据rfm模型，再融入其他个性化参数，对用户进行价值的划分，并针对各等级用户进一步的分析。

3、用户画像：根据固有属性、行为属性、交易属性、兴趣爱好等维度，来为用户添加标签与权重，设计用户画像，提供精准营销参考依据。

数据分析和AI机器学习在小白眼里可能是一个东西或者觉得只是个空泛的名词，今天小编就带大家走进这两个名词~

人工智能（AI）行业一直引领着头条新闻，并且有充分的理由。它已经改变了全球各地的行业，公司正在竞相了解如何整合这种新兴技术。人工智能不是一个新概念。这项技术已经存在了很长时间，但近年来发生的变化是计算能力，基于云的服务选项以及AI对营销人员工作的适用性。

人工智能对营销的影响正在增长，预计到2025年将达到近400亿美元。大多数CMO都知道人工智能，但许多人仍然不确定并且不知道其好处的大小以及他们如何采用人工智能来改善营销。 人工智能的进步现在意味着产品开发人员可以创建创新和领先的产品和服务，直到最近，这些产品和服务还不会达到平均营销预算的范围。

这些进入市场的新产品和服务使AI采用风险降低，重点是提供实用且立即产生影响的结果。许多过去的尝试导致昂贵且定制开发的营销技术项目留下了他们的伤疤。但在营销人员承诺并执行他们的人工智能战略之前，他们需要了解数据分析，预测分析和人工智能机器学习之间的机会和差异。

数据分析

市场营销经理随时可以利用数据分析，从大量数据中获益（并且最有可能遭受痛苦）。这包括从应用和网站上的用户跟踪数据，时事通讯转换率和在线广告点击，到CRM数据分析等所有内容。数据挖掘提供大量数据，通常是非结构化的。营销人员更熟悉通过仪表板与数据交互，仪表板构建数据以提供共性分析，例如平均值，比率和百分比。目标是聚合数据以报告结果，搜索模式并查找变量之间的关系。假设是由人做出的，并且查询数据以证明这种关系。如果有效，可继续测试其他数据。数据分析是描述性的，因为它基于过去的事件。它不能预测变量变化的影响。

预测分析

数据分析使用收集的数据自然地导致预测分析，以预测可能发生的情况。预测基于历史数据，依靠人工交互来查询数据，验证模式，创建然后测试假设。从过去的经验中得出的假设预示着未来将遵循相同的模式。通过人类对过去的理解来了解“假设是什么”假设，预测能力受到人类数据分析师的数量，时间和成本限制的限制。从数据分析中获得的预测性见解可以帮助预测活动的有效性，为抵押品，地理市场和人口统计数据的决策提供信息。 但是，目标和细分的愿望越详细，时间和成本需求就越高，成功的，超个性化的竞选活动几乎是不可能的。

AI机器学习

机器学习是预测分析概念的延续，有一个关键的区别：AI系统能够自主地进行假设，测试和学习。AI是技术的组合，机器学习是用于超个性化营销的最突出的技术之一。 人工智能机器学习可以做出假设，重新评估模型并重新评估数据，所有这些都无需人工干预。这改变了一切。正如AI意味着人类工程师不需要为每个可能的动作/反应编码，AI机器学习能够测试和重新测试数据，以一种人类无法达到的速度和能力预测每一个可能的客户 - 产品匹配。

复杂的分析，例如上面的例子，可以在涉及更多变量的情况下即时完成，使系统能够快速学习。这种学习可以提供人类分析师在大量人群中无法实际完成的微目标洞察。这些结果可以显着提高转换率，营销投资回报率和客户忠诚度。这不是一个问题 - 营销人员必须了解每个人的利益和局限。简化：

数据分析是指从过去的事件中查看模式的数据。

预测分析正在根据过去的数据进行假设和测试，以预测未来的情况。

人工智能机器学习分析数据，做出假设，学习并提供个人分析师无法按照规模和深度进行预测的预测。

CMO越来越需要做出具有重大技术含义的决策。了解数据分析与人工智能之间的区别就在于为正确的工作选择合适的工具。

本文由瓶子谈科技原创，欢迎关注，带你一起长知识！

数据分析是一项实践性很强的工作，涉及到很多交叉学科，需要不同的岗位和角色，来实现不同的性质的工作。

一 、数据分析师中的角色和职责

数据分析团队师应该在科技部门内部还在业务部门内部一直存在争议。在业务部门内部，对数据场景比较了解，容易找到数据变现的场景，数据分析师对业务提升帮助较大，容易出成绩。但是弊端是仅仅对自己部门的业务数据了解，分析只是局限独立的业务单元之内，在数据获取的效率上，数据维度和数据视角方面缺乏全局观，数据的商业视野不大，对公司整体业务的推动发展有限。业务部门的数据分析团队缺少数据技术能力，无法利用最新的大数据计算和分析技术，来实现数据分析和建模。数据分析和计算依赖于科技部门，效率较低，无法打通各个环节和实现效率和收益最优。

1. 数据库(仓库)管理员DBA

DBA最了解企业内部的数据和可用的数据资源，包括数据的存储细节和数据字典，另外其对数据的采集、清洗和转化起到关键作用。

DBA为数据科学家和数据分析师提供加工好的原始数据，这些数据是数据分析和建模的基础，DBA做了数据分析工作中最重要的基础工作，完成了大量的脏活和累活。

2 .业务专家

业务专家的优势是数据的商业敏感度，了解业务需求，可以将业务需求转化为数据需求，进一步找到数据应用场景。另外业务专家也可以通过对数据的分析，找到新的商业机会，同业务部门一起制定商业计划，利用数据分析推动业务增长。

业务专家的经验对于数据分析和建模是非常关键的，他们可能是风险管理人员、欺诈监测专家、投资专家等。数据建模来源于业务经验和业务知识，正是业务专家的专业分析找到了业务规律，从而找到了建模方向，并对建模工作给出建议和解释。

3. 数据科学家

过去统计分析依赖于统计分析工具，大数据时代之后，数据量级的提升和数据类型的复杂程度，让很多传统的统计分析工具无法完成分析计算。这个时候，数据科学家出现了，他们可以利用自己的专业技能帮助业务专家和数据分析人员进行建模和计算。

过去数据统计分析建模常用SPSS，SAS，MATLAB等工具，现在基于大数据平台的分析建模可以使用Spark+Scala/Python/R/Java。数据科学家了解模型和算法，可以直接承担建模和调优工作，懂得选择合适的算法来进行计算，提高效率。

4. 数据分析师

数据分析师站在数据和商业的角度来解读数据，利用图标和曲线等方式向管理层和业务人员展现分析结果，揭示数据分析产生的商业机会和挑战。

数据分析师将杂乱的数据进行整理后，将数据以不同的形式展现给产品经理、运营人员、营销人员、财务人员、业务人员等。提出基于数据的结果和分析建议，完成数据从原始到商业化应用到关键一步，数据分析师的数据敏感度、商业敏感度、分析角度、表达方式对于商业决策很重要。

5 .运营专家

数据分析结果和商业决策出来之后，运营专家负责实现商业决策。通过有计划的运营活动，将数据分析的结果应用到实际的商业活动之中，运营专家是实现数据变现最后一公里的关键人物。

运营专家属于业务人员，实际上参与业务运营活动，利用数据分析结果，实现业务场景和数据场景的结合，实现数据商业化应用。

二、 数据分析之前的各项准备工作

数据分析团队各成员确定之后，将进行下一项工作，就是找到有价值的数据进行分析了。数据是分析的基础，因此数据的质量、数据的相关度、数据的维度等会影响数据分析的结果影，其中GIGO(垃圾进垃圾出)对于数据分析结果影响最大。

1 .数据源选择

数据分析团队面对大量的数据源，各个数据源之间交叉联系，各个数据域之间具有逻辑关系，各个产品统计口径不同，不同的时间段数值不同等。这一系列问题多会影响数据分析结果，因此确定数据源选择和数据整理至关重要。

DBA可以基于数据分析需要，找到相关数据，建立一张数据宽表，将数据仓库的数据引入到这张宽表当中，基于一定的逻辑关系进行汇总计算。这张宽表作为数据分析的基础，然后再依据数据分析需要衍生出一些不同的表单，为数据分析提供干净全面的数据源。宽表一方面是用于集中相关分析数据，一方面是提高效率，不需要每次分析时都查询其他的数据表，影响数据仓库效率。

2. 数据抽样选择

简单的数据分析可以调用全体数据进行分析，数据抽样主要用于建模分析，抽样需考虑样本具有代表性，覆盖各种客户类型，抽样的时间也很重要，越近的时间窗口越有利于分析和预测。在进行分层抽样时，需要保证分成出来的样本比例同原始数据基本一致。

3 .数据类型选择

数据类型分为连续型和离散型，建模分析时需要确定数据类型。进行业务收入趋势分析、销售额预测分析、RFM分析时，一般采用连续型变量。信用评级、分类预测时一般采用离散变量。

4 .缺失值处理

数据分析过程中会面对很多缺失值，其产生原因不同，有的是由于隐私的原因，故意隐去。有的是变量本身就没有数值，有的是数据合并时不当操作产生的数据缺失。

缺失值处理可以采用替代法(估值法)，利用已知经验值代替缺失值，维持缺失值不变和删除缺失值等方法。具体方法将参考变量和自变量的关系以及样本量的多少来决定。

5. 异常值检测和处理

异常值对于某些数据分析结果影响很大，例如聚类分析、线性回归(逻辑回归)。但是对决策树、神经网络、SVM支持向量机影响较小。

一般异常值是指明显偏离观测值的平均值，例如年龄为200岁，平均收入为10万元时，有个异常值为300万元。第一个异常值为无效异常值，需要删掉，但是第二个异常值可能属于有效异常值，可以根据经验来决定是否保留或删掉。

6 .数据标准化

数据标准化的目的是将不同性质、不同量级的数据进行指数化处理，调整到可以类比的范围。例如在建立逻辑回归模型时，性别的取值是0或以，但是收入取值可能就是0-100万，跨度较大，需要进行标准化。

一般可以采用最佳/最大标准化(Min-Max标准化法)将数值定在0和1之间，便于计算。Z分数法和小数定标标准化法也可以采用。

7 .数据粗分类(Categorization)处理

归类和分类的目的是减少样本的变量，常有的方法由等间距分类，等频数分类。可以依据经验将自变量分成几类，分类的方法可以不同，建议采用卡方检验来决定采用哪种分类方法。连续型变量可以用WOE变化方法来简化模型，但降低了模型的可解释性。

8 .变量选择

数据分析过程中会面对成百上千的变量，一般情况下只有少数变量同目标变量有关，有助于提高预测精度。通常建模分析时，有意义的变量不会超过10-15个，称他们为强相关变量(聪明变量)。可以利用变量过滤器的方法来选择变量。常见的变量过滤器应用场景如下。

一般IV值大于0.3代表变量的预测力较强，可以采用。

三 、数据分析过程

1. 向业务部门进行调研，了解业务需要解决的问题，将业务问题映射成数据分析工作和任务。

2.调研企业内外部数据，找到分析需要的数据，将数据汇聚到一个特定的区域，数据集市或数据仓库，探索性分析

3.数据清洗，包括检查数据的一致性，处理异常值和缺失值，删除重复数据等

4.数据转换，例如数据分箱(Binning)，将字符型变量转化为数字型变量，按照数据所需维度进行汇总

5.建立模型，按照业务需求建立不同模型(例如客户流失预警、欺诈检测、购物篮分析、营销响应等)

6.模型结果解释和评估，业务专家进行业务解释和结果评价

四 、大数据分析场景和模型应用

数据分析建模需要先明确业务需求，然后选择是描述型分析还是预测型分析。如果分析的目的是描述客户行为模式，就采用描述型数据分析，描述型分析就考虑关联规则、序列规则、聚类等模型。

预测型数据分析就是量化未来一段时间内，某个事件的发生概率。有两大预测分析模型，分类预测和回归预测。常见的分类预测模型中，目标变量通常都是二元分类变量例如欺诈与否，流失与否，信用好坏等。回归预测模型中，目标变量通常都是连续型变量，常见的有股票价格预测、违约损失率预测(LGD)等。

生存分析聚焦于将事件的结果和出现这一结果所经历的时间进行分析，源于医疗领域，研究患者治疗后的存活时间。生存分析可也可以用于预测客户流失时间，客户下次购买时间，客户违约时间，客户提前偿还贷款时间，客户下次访问网站时间等。

常见的数据分析应用场景如下：

1 .市场营销

营销响应分析建模(逻辑回归，决策树)

净提升度分析建模(关联规则)

客户保有分析建模(卡普兰梅尔分析，神经网络)

购物蓝分析(关联分析Apriori)

自动推荐系统(协同过滤推荐，基于内容推荐，基于人口统计推荐，基于知识推荐，组合推荐，关联规则)

客户细分(聚类)

流失预测(逻辑回归)

2 .风险管理

客户信用风险评分(SVM，决策树，神经网络)

市场风险评分建模(逻辑回归和决策树)

运营风险评分建模(SVM)

欺诈检测(决策树，聚类，社交网络)

五、数据模型评价的方法

1AUC值判别法

AUC小于0.7识别能力很弱

AUC在0.7-0.8之间识别能力可接受

AUC在0.8-0.9之间识别能力卓越

AUC大于0.9模型出现意外

2KS判别法

KS值大于0.2就表示具有较好的可预测性

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店等行业的电子渠道大数据运营，为客户提供全球领先的电子渠道转型咨询、大数据挖掘和应用定制服务，助力客户互联网转型，提升数字化运营和数据营销能力。

数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览facebook的好友动态，你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。

这些角色的职责范围，从预测未来，到发现你周围世界的模式，到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色，他们如何组合在一起，并且帮你找出那些角色是适合你自己的。

什么是数据分析师？

数据分析通过谈论数据来像他们的公司传递价值，用数据来回答问题，交流结果来帮助做商业决策。数据分析师的一般工作包括数据清洗，执行分析和数据可视化。

取决于行业，数据分析师可能有不同的头衔（比如：商业分析师，商业智能分析师，业务/运营分析师，数据分析师）不管头衔是什么，数据分析师是一个能适应不同角色和团队的多面手以帮助别人做出更好的数据驱动的决策。

深度解析数据分析师

数据分析师拥有把传统的商业方式转换成数据驱动的商业方式的潜质。虽然数据分析师是数据广泛领域的入门水平，但不是说所有的分析师都是低水平的。数据分析师不仅仅精通技术工具，还是高效的交流者，他们对于那些把技术团队和商业团队隔离的公司是至关重要的。

他们的核心职责是帮助其他人追踪进展，和优化目标。市场人员如何使用分析的数据取帮助他们安排下一次活动？销售人员如何衡量哪种类型人群能更好的争取？CEO如何更好的理解最最近公司发展背后潜在原因？这些问题就需要数据分析师通过数据分析和呈现结果来给答案。他们从事的这些和数据打交道的复杂工作能够为他们所在的组织贡献价值。

一个高效的数据分析师能够在商业决策的时候摒弃臆想和猜测，并且帮助整个组织快速成长。数据分析师必须是一个横跨在不同团队中的有效桥梁。通过分析新的数据，综合不同的报告，翻译整体的产出。反过来，这也能帮助组织对于自身的发展时刻保持警觉。

公司的不同需求决定了数据分析师的技能要求，但是下面这些应该是通用的：

清洗和组织未加工的数据

使用描述性统计来得到数据的全局视图

分析在数据中发现的有趣趋势

创建数据可视化和仪表盘来帮助公司解读说明和使用数据做决策

呈现针对商业客户或者内部团队的科学分析的结果

数据分析师对公司科技和分科技的两面都带来了重大的价值。不管是进行探索性的分析还是解读经营状况的仪表盘。分析师都促进了团队之间更紧密的连接。

什么是数据科学家？

数据科学家是使用他们在统计学和建设机器学习模型方面的专业技术去进行关键商业问题预测的专家。

数据科学家也需要像数据分析师一样去清洗、分析、可视化数据。然而一个数据科学家需要在这些技能上更深入也更专业，他们还可以去训练和优化机器学习的模型。

深度解析数据科学家

数据科学家能产生巨大的价值，他们处理更多开放式的问题并且利用他们专业的统计学和算法知识发挥更大杠杆的作用。如果说数据分析师专注于从过去和现在数据层面来理解数据的话，那么数据科学家就是专注于做出对未来更可信的预测。

数据科学家通过有监督学习（分类、回归）和无监督学习（聚类，神经网络，异常监测？）机器学习模型来揭开隐藏着的规律。本质上来说他们是训练那些能让他们更好的识别模型和产出精确预测效果的数学模型的人。

下面是数据科学家完成的一些例子：

评估统计学模型来决定分析有效性

使用机器学习来建设更好的预测算法

测试和持续提升模型精确度

进行数据可视化来概括分析的结论

数据科学家为预测和理解数据带来了一种完全崭新的方式。虽然数据分析师可能也可以去描述趋势和为商业团队传递这些结果。但是数据科学家能剔除新的问题并且可以去建模来做出对新数据的预测。

什么是数据工程师？

数据工程师建设和优化系统。这些系统帮助数据科学家和数据分析师开展他们的工作。每一个公司里面和数据打交道的人都需要依赖于这些数据是准确的和可获取的。数据工程师保证任何数据都是正常可接收的，可转换的，可存储的并且对于使用者来说是可获取的。

深度解析数据工程师

数据工程师建立了数据分析师和数据科学家依赖的基础。数据工程师对构造数据管道并且经常需要去使用复杂的工具和技术来管理数据负责。不想前面说的两个事业的路径，数据工程师更多的是朝着软件开发能力上学习和提升。

在比较大的组织中，数据工程师需要关注不同的方面：比如使用数据的工具，维护数据库，创建和管理数据管道。不管侧重于什么，一个好的数据工程师能够保证数据科学家和数据分析师专注于解决分析方面的问题，而不是一个数据源一个数据源的去移动、操作数据。

数据工程师往往更加注重建设和优化。下面的任务的示例是数据工程师通常的工作：

为数据消费开发API

在现存的数据管道中整合数据集

在新数据上运用特征转换提供给机器学习模型

持续不断的监控和测试系统保证性能优化

你的数据驱动的事业路径：

现在你已经了解了这三种数据驱动的工作了，但是问题还在，你适合哪一种呢？虽然都是和数据相关，但是这三种工作是截然不同的。

数据工程师主要工作在后端。持续的提升数据管道来保证数据的精确和可获取。他们一般利用不同的工具来保证数据被正确的处理了，并且当用户要使用数据的时候保证数据是可用的。一个好的的数据工程师会为组织节省很多的时间和精力。

数据分析师一般用数据工程师提供的现成的接口来抽取新的数据，然后取发现数据中的趋势。同时也要分析异常情况。数据分析师以一种清晰的方式来概括和提出他们的结果来让非技术的团队更好的理解他们现在在做的东西。

最后，数据科学家更倾向于基于分析的发现和在更多可能性上的调查来获得方向。不管是训练模型还是进行统计分析，数据科学家试图去对未来要发生的可能性提出一个更好的预测。

不管你的特殊的路径是什么，好奇心都是这三个职业最本质的要求。使用数据来更好的提问和进行精确的实验是数据驱动事业的全部目标。此外，数据科学家领域是不断的进化的，你必须要有强大的能力去持续不断的学习。

有一句话叫做三人行必有我师，其实做为一个开发者，有一个学习的氛围跟一个交流圈子特别重要这是一个我的大数据交流学习群531629188不管你是小白还是大牛欢迎入驻，正在求职的也可以加入，大家一起交流学习，话糙理不糙，互相学习，共同进步，一起加油吧。

大数据挖掘与大数据分析一样吗？随着大数据越来越火，与大数据相关的职位也开始粉墨登场，引人关注。作为大数据行业最为重要的两种职位，大数据挖掘和大数据分析更是受到了与众不同的待遇。现在有许多的朋友都会问：大数据挖掘和大数据分析有什么区别，不是都是搞数据的吗？在这里，魔据小编认为：尽管大数据挖掘和大数据分析同属于大户数据行业，但是依然有着很大的区别。

一．什么是数据

不谈数据，就无以谈大数据挖掘和大数据分析，因此，我们先说一下什么是数据。

其实很简单，数据就是观测值。例如测量数据。大家可能有个误区，认为客户填写的表单就是数据，对编程序而言，是的，但是不是常规的数据。当然填写的内容，一旦落入到观测空间，自然就成了数据。

二．什么是大数据挖掘和大数据分析

大数据挖掘指对大数据数据分析手段后的信息，进行价值化的分析。

大数据分析指对大数据的一种操作手段，或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。

三．大数据挖掘和大数据分析有什么区别

大数据挖掘是对信息的价值化的获取。价值化自然不会考虑数据本身，而是考虑数据是否有价值。由此，一批数据，你尝试对它做不同的价值评估，这是大数据挖掘。

大数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。例如你需要图像识别，这个属于大数据分析。你要分析人脸，数据就是通过先验的 方法，就是出来个猫脸。你的数据分析也没有问题，你需要默默承受结果，并且尊重事实。因此大数据分析的重点在于数据的有效性、真实性和先验约束的正确性。

此时对比大数据分析，最大的特点就是你需要调整你不同的先验约束，再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点，例如信噪比处理算法。你期望得到的一个有价值的内容，做先验的约束，以观测，数据根据这个约束，是否有正确的反馈。

不管大数据挖掘和大数据分析有什么不同，这两个职位的前景都是十分好的，现在入行，正是最好的时机。

对于这一问题，答案是多种多样的，此文分别从实践者，观察者和预言者三种角度来分析，看完会对您有所启发。

观点1，实践者的角度来看：

大数据- 表示数据的几个维度 - 可用数据的多样性，速度，体积和可信度。此外，大数据相关技术使我们能够处理和存储4V的一个或所有特性。

数据分析- 通常意味着探索性数据分析，可视化和报告。我们可以使用大数据或典型数据来了解和探索数据，并更好地了解上下文。或回答几个商业问题。

数据科学或更早的业务分析- 让我们建立统计学，数学和机器学习模型，以获得更好的业务成果。我们可以使用大数据来做到这一点。

观点2，实践者的角度来看：

大数据只不过是非结构化数据的收集。这些数据不是特定的格式，因为它的数据集大小通常是巨大的 - 测量数十TB，有时跨越PB的门槛。大数据术语之前是使用数据库管理系统（DBMS）进行管理的非常大的数据库（VLDB）。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

虽然这些定义可能听起来很简单，但它们是相当复杂的领域。大数据和分析涉及很多步骤和技术。其中一些是数据采集，出生的数字数据，出生的模拟数据，非关系数据库，内存数据库系统，混合数据存储和处理系统 - Apache Hadoop和数据挖掘。

此外，使用弹性搜索，变得更加容易理解大数据。它用于网页搜索，日志分析和大数据分析。还有许多其他工具，但Elasticsearch更受欢迎，因为它易于安装，扩展到数百个节点，没有额外的软件，并且由于其内置的REST API而易于使用。

Google的AlphaGo计算机在Go游戏中击败了世界冠军Lee Se-dol，Data已经成为新的货币，全球政府已经开始大力投资智慧城市。围绕大数据的炒作终于结束了，在2017年的今年，我们可以预期数据在数量和种类上都会大幅增长。

观点3，预言者角度分析：

HADOOP将成为WIDESPREAD

今年，我们将看到Hadoop采用的激增以及组织的其他相关解决方案。随着Hadoop的采用，任何规模的组织都可以使用高级分析来处理大量和多种数据。采用更高级的数据库，如MemSQL，Exasol等，已经成为组织成功的关键。

IOT，云和大数据的收敛

随着几个互联网连接的IoT设备的出现，大量的结构化和非结构化数据的涌入。这些数据中的大部分部署在云服务中。该数据将驻留在包括Hadoop集群到NoSQL数据库的几个关系和非关系系统中。云迁移十大注意事项

混合现实

混合现实将改善数据可视化AR和VR在过去几年中赢得了客户的极大的关注。随着神奇宝贝的推出，增强现实在几个星期内就已经获得了大约1亿用户。虽然AR或VR可能对大公司来说可能不是很有用，但混合现实的概念可能非常好。混合现实将虚拟世界与现实世界结合起来，像微软全能组织这样的设备已经在吸引人。混合现实将为组织提供更好的执行任务以及更好地了解数据的巨大机会。chatbots上升的前五大平台

深度学习

深度学习是基于神经网络的高级机器学习形式。深度学习有助于从大量非结构化数据中识别特定的兴趣项目。从大量的结构化和非结构化数据中学习是非常有用的。因此，企业和组织应该更多地关注深度学习算法来应对数据的大量涌入。数据虚拟

化今年数据虚拟化将呈现强劲势头。数据虚拟化能够从大量数据中解锁隐藏的概念和结论。它还允许企业和组织随时检索和操纵数据。

结论

如前所述，今年将是一个令人兴奋的一年，大数据和分析系统将成为组织的首要任务。这些系统预计运作良好，履行对企业价值的承诺。

想了解更多关于大数据分析的精辟观点，加大数据学习交流8群640193172，或者去看BAT大数据专家私人圈TBanna521。

编者按：数据科学和数据分析，在技术领域或其他相关行业工作的人可能会经常看到这两个术语，虽然他们俩看起来挺像，但是这两个术语是完全不同的，对业务有不同的影响。

|| 数据科学 ||

就像包含了许多专业和领域的科学一样，数据科学也是获取信息的各种模型和方法的广义术语。在数据科学的范畴内，科学方法、数学、统计学和其他工具用来分析和操纵数据。如果一个工具或过程通过数据分析，从中获取某种信息，那么，它可能属于数据科学。实践数据科学归结为连接信息和数据点，以找到可用于业务的连接。数据科学通过尝试找到新的模式和视角，深入了解未知世界。数据科学试图建立连接并为未来做好计划，而不是像数据分析所做的那样，检查假设。数据科学通常通过提供数据上的新观点，或以前没看到不知道的所有的连接，帮助组织从查询数据转移到洞察力上。|| 数据分析 ||

如果数据科学是掌握工具和方法的房子，那么数据分析就是该房屋的特定空间。它与数据科学有关系，但是更具体和集中。数据分析通常比数据科学更受到关注，因为数据分析师不仅仅寻找数据之间的连接，而是关注一个特定的目标，通过数据排序来寻找支持的方法。数据分析通常是自动化的，可以在某些领域提供意见和见解。数据分析包括梳理数据，找出可用于帮助实现组织目标的巨大财富。基本上，分析将数据分类成组织知道自己了解的数据和知道自己不了解的数据，并且可以用来衡量过去，现在或将来的事件。数据分析通过将趋势和模式与公司的真实目标联系起来，从精准分析转移到会给公司带来什么影响，并逐渐转向提升业务率和寻找战略重点。|| 数据科学家和数据分析师的差异 ||

数据科学和数据分析之间看起来只有微妙的差异，但是实际上两者可能对公司产生很大的影响。一开始，数据科学家和数据分析师就有不同的背景，履行不同的职责，所以能正确使用这些术语有助于公司聘请合适的人员来处理各自的任务。数据分析和数据科学可以用来找到不同的东西，对于企业来说这些都是有用的，两者都不能单独应用于所有情况。数据分析常用于如医疗保健，游戏和旅游等行业，而数据科学常用于互联网搜索和数字广告中。数据科学在人工智能和机器学习的发展中也发挥着越来越重要的作用。许多公司正在转向允许他们使用计算机筛选大量数据的系统，例如在企业闪存系统上，使用算法来找到最有助于其组织实现目标的连接。机器学习在许多行业具有巨大的潜力，无疑在未来如何运作企业方面发挥巨大的作用。因此，组织和员工了解数据科学与数据分析之间的区别，以及对每个学科的作用至关重要。虽然存在差异，但数据科学和数据分析都是未来工作和数据的重要组成部分。这两个术语应该被希望理解数据，并能引领技术变革的公司所接受。

来源：insidebigdata

作者：Rick Delgado智能观 编译

关于数据分析师，数据工程师和数据科学家有什么区别，三者有着相关的共同点，又有着不同点，数据科学家的影响力与互联网同进同退。数据工程师和数据分析师与数据科学家携手共同完成这幅“大数据时代”巨作。

数据科学家是什么样一个存在呢?

通常情况下，数据科学家有数学或物理方面的高等学位。有博士学位的情况并不少见，硕士学位仅是一个前提条件。数据科学家精通统计建模以及如何构建与定制高级数学算法。这既在他们专业范围内，也是他们所擅长的地方。我听到过有人这样形容一个数据科学家“软件工程技能牛过多数人的酷炫统计学家”。

我结合加工的说：所谓数据科学家，是指运用统计分析、机器学习、分布式处理等技术，从大量数据中提取出对业务有意义的信息，以易懂的形式传达给决策者，并创造出新的数据运用服务的人才。

数据工程师如何定义呢?

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。这些伙计就是那些能提供可建模数据所需平台的人。他们的核心价值在于他们借由清晰数据创建数据管道的能力。

如何区分数据科学家，数据工程师与数据分析师

数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师如何理解呢?

数据分析师能洞悉一个方程式的商业意义。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。不管是给另一个数据分析师还是C级执行做演讲，数据分析师都是数据提取，模式识别以及从大量数据中洞察问题方面的能手。

如果你或者你的公司正考虑顺应这股大数据浪潮的发展，你应该从明确你想利用大数据解决所面临的商业问题处下手。接着找出你真正的需求：是数据采集，检索，仓储还是数据分析?然后编写相应的职位描述并做好准备。

想要快速进入大数据行业，西线学院大数据培训是不错的选择，除了坚持小班化教学之外，还以项目式教学为宗旨，手把手辅导学员，进行大量的案例操作，保障学员不光学会书本上的知识，更具有实际操作的能力。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。

数据分析师是什么？

数据分析师不同行业中获取数据，并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示，以辅助企业做出商业决策。一般来讲，数据分析师的任务是对数据进行清洗、分析以及可视化。

根据行业的不同，数据分析师的头衔也可能不同。比如：业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么，数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色，同时也能在极大程度上帮助企业做出基于数据的决策。

数据分析师所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

数据工程师是什么？

在大数据的时代，数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

数据工程师所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示：

大数据工程师方向：

大数据分析师方向：

总结：

数据工程师的重心在“后端”，他们需要持续的优化数据通道，才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。

数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集，并对其中的数据趋势进行识别，同时对异常数据进行分析。分析师们将会对结果进行总结，并以一种清晰直观的方式来展示这些结果，以便于其它非技术团队能够更好地了解他们目前的工作效果。

有了以上信息，数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说，通过数据来找到正确的问题，并据此进行更加精确的试验，这就是其最根本的工作内容。进一步的，数据科学领域将不断发展进步，同时也会对相关从业人员提出持续学习的要求。

分享 IT 技术和行业经验，请关注-技术学派。