雷锋网 AI 研习社按，Kaggle 上有各式各样的数据挖掘类比赛，很多参赛者也乐于分享自己的经验，从他人的经验中进行总结归纳，对自己的实践也非常重要。

本文将以 Kaggle 上 6 个不同的比赛为例，介绍常见的三类数据（结构化数据，NLP 数据，图像数据）分析经验，以助力大家提升数据分析能力。此文为上篇，主要介绍结构化数据和 NLP 数据，包含 Titanic 比赛，房价预测比赛，恶意评论分类，恐怖小说家身份识别。下篇将会介绍两个极具特色的图像类比赛——树叶分类竞赛（Leaf Classification）和肺癌检测比赛（Data Science Bowl 2017）。

正文如下，雷锋网 AI 研习社编译整理：

建立准确模型的关键是全面了解正在使用的数据，但数据通常是混乱的。在我自学机器学习的前几个月，对如何理解数据并没有很多的想法。我假设数据来自一个自底向上组织完好的包，或者至少有一组明确的步骤可以遵循。

查看别人的代码之后，我发现大家理解、可视化和分析相同数据集的方式是不同的，对此我很震惊。我决定通读几种不同的数据分析方式，找出其中的异同点，并提炼出一套理解数据集的最佳实践或策略，以便更好地利用它们进行数据分析。

数据科学家会花大量时间在数据预处理上，而不是模型优化问题上。——lorinc

本文中，我选择了一些在 Kaggle 上公开的探索性数据分析（EDA）。这些分析将交互式代码片段与文章结合在一起，有助于提供数据的鸟瞰图或梳理数据中的模式。

我同时研究了特征工程，这是一种获取现有数据并用一些方法将其转化，赋予数据其他含义的技术（例如，获取时间戳并提取 DAY_OF_WEEK 列，这些列可用于预测商店中的销售情况）。

我想看看各种不同的数据集，所以我选择了：

结构化数据NLP（自然语言）数据图像数据

结构化数据

结构化数据集是包含训练和测试数据的电子表格。电子表格可能包含分类变量（颜色，如绿色、红色和蓝色），连续变量（年龄，如 4、15 和 67）和序数变量（教育程度，如小学、高中、大学）。

训练数据表中包括一个尝试解决的目标列，这些列不会出现在测试数据中。我所研究的大部分 EDA 都侧重于梳理出目标变量与其他列之间的潜在关联性。

我们的主要目的是寻找不同变量之间的关联性，有很多切分数据的方法。可视化的选择更多。

特征工程可以让你充分发挥想象力，不同参赛选手在合成特征或将分类特征合并为新特征时，都有不同的方法。

让我们更深入地看看 Titanic competition 和 House Prices competition 这两项比赛。

Titanic

图片来自 Viaggio Routard

Titanic 比赛非常受初学者欢迎，很多 Kaggle 用户都不断参与这个比赛。因此，这个比赛的 EDA 往往写得很好，并且有详细记录，是我看到的最清晰的。

数据集包括一个训练集电子表格，其中包含一列「Survived」，表示乘客是否幸存，以及其他补充数据，如年龄、性别、票价等等。

我选择用于分析的 EDA 是由 I，Coder 提供的 EDA to Prediction Dietanic，déjà vu 提供的 Titanic Survival for Beginners EDA to ML，katerina Kokatjuhha 提供的 In Depth Visualisations Simple Methods。

所有这三种 EDA 都以原始指标开始。

I，Coder 描述的数据集

数据预处理过程中对空值或缺失值进行处理是关键一步。本文选取的三个 EDA，一个在前期处理了这一问题，另外两个在特征工程阶段进行处理。

I，Coder 反对指定一个随机数来填补缺失的年龄：

正如我们前面看到的，Age 特征有 177 个空值。要替换这些 NaN 值，我们可以为它们指定数据集的平均年龄。但问题是，有许多不同年龄段的人，我们不能把 4 岁小孩的平均年龄分配到 29 岁。有什么方法可以找出乘客的年龄段？我们可以检查名称特征。在这个特征中，我们可以看到像先生或夫人的称呼，我们可以将先生和夫人的平均值分配给各个年龄组。

I, Coder 输入的年龄

I，Coder 将特征工程作为纯数据分析的一部分，然而其他两位作者认为它是一个独立的步骤。

这三位 kernel 作者在深入了解数据、找出数据间潜在相关性时，都非常依赖图表和可视化。他们使用的图表包括因子图、交叉表、条形图、饼图和小提琴图（结合箱线图和密度图特征的一种图）等等。

deja vu 关于幸存者性别的图表

你可能对泰坦尼克号中的「女性与儿童优先」这句话很熟悉。在最初的数据分析中，对每位作者来说，年龄和性别这两个特征很重要。也可以对收入背景（如票价所示）进行一些详细的检测。

船上的男性比女性多很多。尽管如此，幸存的女性几乎是幸存男性的两倍。女性在船上的幸存率约为75％，而男性约为18-19％。——I，Coder

Jekaterina 和 I，Coder 都是基于对图表和数据的视觉检测得出结论，如 Jekaterina 所写：

性别：女性的幸存机会更高。船舱等级：拥有头等舱票更有可能幸存。血亲关系和规模：中等规模的家庭比独自旅行的人或大家庭的幸存率更高。原因可能是单独的人会想牺牲自己去帮助别人。对于大家庭，我认为是整个家庭太难管理，因此家族成员都在寻找彼此而不是忙着上船逃生。救生船 C 有更高的幸存率。有趣的是，大部分头等舱的乘客乘坐的就是救生船 C。

Jekaterina 绘制的反映船舱等级和救生船的图表

Deja Vu 的 EDA 在分析的每一步都记录了一个准确的数字，就每个特征对最终预测的重要性提供了一个很好的反馈。

特征工程

三位 kernel 作者的特征工程存在很多可变性。

每位作者选择不同数量的 bucket 作为连续变量，如年龄和票价。与此同时，他们都以不同的方式处理家庭关系，I，Coder 建立了一个 SibSip（血亲关系）——是独自一人还是与家人（配偶或兄弟姐妹）一起（family_size 和 alone），Jekaterina 则列出了一个客舱bin，并提出以 child（儿童）或 adult（成人）作为特征。

Jekaterina 列出的客舱等级字母

I，Coder 在剔除不相关的列时特别激进：

名称 —>我们不需要名称特征，因为它不能转换为任何分类值。年龄 —>我们有 Age_band 特征，所以不需要这个。船票 —>它是不能被分类的随机字符串。票价 —>我们有 Fare_cat 特征，所以不需要。客舱 —>有许多缺失值，也有许多乘客有多个舱位。所以这是一个无用特征。票价范围 —>我们有 Fare_cat 特征。乘客身份 —>无法分类。

对于填补步骤，Jekaterina 写道：

上的救生船：用一个主要类来填充船舱等级：因为票价中只有一个缺失值，我们将用相应船舱等级的中值进行填充年龄：有几种输入技术，我们将使用均值上下范围内的随机数进行填充

她确保新的填充数据不会破坏平均值，进行了总结了：

Jekaterina 检测新输入值是否破坏均值

点评

三位作者都有检查数据并描述整体形状。

I，Coder 考虑了整体的缺失值，而 Jekaterina 在接近尾声时才开始考虑。

每个人都着眼于幸存者的分类，然后按性别分类幸存者。交叉列表、因子图和小提琴图都是常用的图表。Jekaterina 还绘制了一些非常有趣的图表。

当涉及到特征工程时，作者们有些分歧。作者在构建新特征的问题上存在差异，一些人将其视为一个独立的步骤，另一些人则在初步数据分析时对其进行处理。围绕分箱的选择各不相同，随着年龄、产权和票价的不同，所收到的 bucket 数量都不同，并且只有 Jekaterina 构建了一个离散的 child/adult（儿童/成人）特征。

对于缺失值的填充方法也不同。I，Coder 建议查看现有数据以预测估算值，而 Jekaterina 确保她的估算数据不影响均值。

他们在思考和处理数据上有一些明显的相似之处，主要是在可视化和特征工程上有些差异。

房价

该图由美国顾问团提供

房价预测是另一种结构化数据比赛。它比上面的 Titanic 比赛有更多的变量，包括分类、顺序和一些连续特征。

我所选择的用来分析的 EDA 是 Pedro Marcelino 的 Comprehensive Data Exploration with Python，Angela的 Detailed Data Exploration in Python，以及Sangeon Park的 Fun Python EDA Step by Step。

虽然这些数据在类型上类似 Titanic，但实际上复杂得多。

在爱荷华州埃姆斯住宅问题中，有 79 个解释变量用来描述这些房子的方方面面。该竞赛要求你预测每间房的价格。

Pedro 描绘了售价

Angela 和 Pedro 花了一些时间来研究与 Titanic 比赛中类似的原始数据。Angela 在直方图上画出了售价，并绘制了关于这些特征的热图。而 Pedro 也描绘了售价，并得出了以下结论:

偏离了正态分布有明显的正偏态出现了尖峰态

之后，Pedro 将自己置于买家的角度，猜测哪些特性对他来说很重要，从而来看他的选择和售价之间的关系。之后，他建立了一个热图，让自己对特征有更加客观的观察。

与售价相关的特征图

相比之下，Angela 以一种更加客观的方式来描述，她通过相关关系列出了数字特征，也描绘了与售价相关的特征图，从数据中寻找模型。

Sang-eon 果断剔除了缺失值和离群值(并使用线性回归估算了临界线附近的异常值)，之后才开始描绘与售价相关的多方面特征。

Pedro 一直在寻找数据之间的相关性，以检查数据丢失问题。他提出:

丢失数据有多普遍?丢失数据是随机的还是有模式的?这些问题的答案对于实践很重要，缺少数据可能意味着样本容量的减少。这会阻止我们进一步的分析。从真实性的角度来看，我们需要确保数据丢失不会导致偏颇。

为解决这些问题，Pedro 绘制了缺失单元的总数以及百分比，并选择删除了 15% 或是更多包含缺失数据的单元格所在的列。他再次依赖主观选择来决定移除哪些特征：

……我们会错过这些数据吗？我不这么想。这些变量似乎都不是很重要，因为它们中的大多数都不是我们在购买房子时所要考虑的方面。此外，通过仔细观察变量，比如「PoolQC」、「MiscFeature」和「fireplacery」等变量很有可能导致异常值出现，因此我们很乐意删除它们。

Pedro 对缺失数据的处理方法是，要么删除整个列（如果它们包含有大量缺失值），要么删除只有少数缺失值的行。他还建立了一个启发式的解决异常值的方法:

最主要是设定一个阈值来定义观测值是否为异常值。为此，我们将数据标准化。在这种情况下，数据标准化意味着将数据值转换为平均值为 0，标准差为 1 的数据。

他的结论是，从静态的角度来看，没什么可担心的。但在重新审查了数据之后，他删除了一些觉得可疑的数据点。

特征工程

Sangeon 检查了数据的偏态和峰度，并做了一个 wilxocc -rank 测试。他用一个非常好看的 3D 图进行总结：

Sang-eon 的 3D 特征图

与此同时，Pedro 讨论了这些数据的正态性、同方差性、线性度和无相关误差，他将数据归一化，并发现其他三个问题也得到了很好的解决。

点评

这三个 kernel 的作者都没有做过多的特征工程分析，可能是因为数据集中已经有很多的特性了。

有很多策略来决定如何处理这些数据，有些作者采用了主观策略，有些则直接采用更加客观的测量。对于何时以及如何剔除缺失数据或异常值，他们没有达成明确的共识。

与之前 Titanic 竞赛相比，这里更多的关注于统计方法和完整性。可能是因为有更多的特征需要处理，也有可能是无效的统计结果会对整体产生更大的影响。

自然语言处理

自然语言或 NLP 数据集包含单词或句子。虽然核心数据类型与结构化数据竞赛中的相同，但用于自然语言分析的工具——文本是特定的，这会导致不同的分析策略。

在其原始形式中，语言不易被机器学习模型识别。为了将其转换为适合神经网络的格式，需要对其进行变形。一种流行的技术是 Bag of Words（词袋），其中句子被有效地转换为 0 或 1 的集合，即特定单词是否出现。（不出现为 0，出现为 1）

由于需要转换数据，大多数 Notebook 的前几个步骤倾向于将文本转换为机器可读的内容，并且这一步骤都趋于相似。之后，大家的方法会出现很大差异，并对特征工程应用各种不同的可视化和技术。

恶意评论分类

我看到的第一个 NLP 比赛是 Toxic Comment Classifcation Competition（恶意评论分类），包括一个数据集，其中大量数据来自维基百科讨论页面的评论，通过评论在等级上的得分，来区分是侮辱、淫秽，还是恶意评论等。参与者面临的挑战是预测给定评论的恶意标签。

我选择用于分析的 EDA 是 Jagan 的 Stop the S@#$ - Toxic Comments EDA，Rhodium Beng 的 Classifying Multi-label Comments 和 Francisco Mendez 的 Don't Mess With My Mothjer。

三位作者都从描述数据集开始，随机抽取了一些评论。虽然没有缺失值，但评论中有很多噪音，并且不清楚这种噪音在最终的数据分析中是否有用。

Jagan 绘制的恶意分类分布图

恶意程度在各个类别之中不是均匀分布的。因此，我们可能会遇到分类失衡问题。—— Jagan

Francisco 剔除掉无实际意义的词（例如「and」或「the」）。他用双标图绘制出一个特定单词最适合的类别。

双标图中，大多数单词都是正常排列的，也有一些例外，肥胖与厌恶有相关性，这很令人惊讶，因为它是图表底部唯一的...

数据分析行业发展到什么阶段了？

在我国，数据分析工作正在被逐渐的受到重视，越来越多的人们意识到此项工作环节的重要性。08年4月份，经我国国资委审批、民政部备案后，中国商业联合会数据分析专业委员会正式成立，这是数据分析行业内唯一的协会，它的成立标志着我国数据分析行业在经济发展中的地位已经被得到充分的认可，数据分析工作也会因此走向更加规范的发展轨道。

全球已进入大数据时代，在我国，数据分析工作体现在多个领域，覆盖企业运营全过程。持有数据分析师专业技能证书的专业人员所开展的数据分析工作已经涉足到了很多领域，包括政府相关机构、企事业单位以及其他领域。目前，我国对于数据分析专业人员的需求数以万计，数据分析工作的重要性不言而喻。

数据分析行业发展的怎么样？

目前为止（2018），数据分析师培训运作了十五年的时间，为我国经济发展尤其是数据分析行业输送了大量的专业人才。学员遍布全国各地，已有两万余人参加了培训并取得了数据分析师专业证书；由学员学成后成立的数据分析行业专业中介服务机构（数据分析师事务所）已经发展到近百家，在全国范围内形成了良好的社会反响。

数据分析行业有国家相关部门的政策支持吗？

从2003年底至今，数据分析师培训得到政府和社会各界的大量支持和帮助，除了中国商业联合会数据分析专业委员会的各位领导和老师们付出了大量精力外，国家发改委培训中心也给予了很多的支持和帮助，另外各地相关专业协会或机构给予了高度重视并发文共同推广此，如：多个省市大数据协会、注册会计师及地方与行业相关的政府机构协助推广等。

国外的数据分析行业发展到什么样子了?

在国际上，数据分析师主要包括从事数据挖掘和投资两大领域，投资分析、信贷融资、企业经营管理、企业战略规划、决策管理等影响政府和企业重大决策的领域担任重要角色，主要为政府和企业进行重大决策提供科学、真实和准确的依据，是社会经济运行中具有重要地位的高端技术人才。一般意义上，数据分析质量的高低反映着一个国家大数据的发达程度。

在国外，数据分析工作已广泛应用于经济发展的各个领域当中，无论是国家政府部门、企事业单位还是个人，数据分析工作都是进行决策和作出工作决定之前的重要环节，其分析结果的质量高低直接决定着决策的成败。随着我国经济决策由“经验决策”向“数据决策”的不断规范，越来越多的政府机构和企业开始意识到数据决策的准确性和安全性，从而，对于帮助实现安全准确决策的数据分析专业人士的需求越来越大。

例如，在国外，只要搜索data analyst ，会有好多的招聘信息出现在你的眼帘，我们可以看到，几乎遍及各个行业都需要data analyst，金融服务，管理，销售业、服务业、建筑业、金融业等等，软件开发人员、股票分析师（Equity Data analyst）、证券数据分析员、金融培训师、基金数据分析师、管理、数据分析、数据质量审计员（data quality analyst）固然每个行业每个领域的data analyst 的职能是不一样的，但是固然都离不开数据搜集，数据处理，依据数据计算结果进行预测进而制定方案或为决策提供可靠性建议。

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

现代营销观念认为：“营销管理重在过程，控制了过程就控制了结果。”用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型，其精细化程度影响着营销管理的成败，以及用户行为分析的精准度。粗陋的漏斗分析模型因为过程管理不透明、数据分析不精细、用户行为分析不科学而造成结果失控。因此，我们经常能够听到一些产品经理的抱怨不绝于耳：从启动 APP 到“支付成功”，用户转化率为何仅仅 0.8 %？

一、什么是漏斗分析？

究竟什么是漏斗分析？漏斗分析是一套流程分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。

漏斗分析模型已经广泛应用于流量监控、产品目标转化等日常数据运营与数据分析的工作中。例如在一款产品服务平台中，直播用户从激活APP开始到花费，一般的用户购物路径为激活APP、注册账号、进入直播间、互动行为、礼物花费五大阶段，漏斗能够展现出各个阶段的转化率，通过漏斗各环节相关数据的比较,能够直观地发现和说明问题所在，从而找到优化方向。

二、漏斗分析模型的特点与价值：

对于业务流程相对规范、周期较长、环节较多的流程分析,能够直观地发现和说明问题所在。值得强调的是，漏斗分析模型并非只是简单的转化率的呈现，科学的漏斗分析模型能够实现以下价值：

企业可以监控用户在各个层级的转化情况，聚焦用户选购全流程中最有效转化路径；同时找到可优化的短板，提升用户体验；降低流失是运营人员的重要目标，通过不同层级的转情况，迅速定位流失环节，针对性持续分析找到可优化点，如此提升用户留存率。多维度切分与呈现用户转化情况，成单瓶颈无处遁形。科学的漏斗分析能够展现转化率趋势的曲线，能帮助企业精细地捕捉用户行为变化。提升了转化分析的精度和效率,对选购流程的异常定位和策略调整效果验证有科学指导意义。不同属性的用户群体漏斗比较，从差异角度窥视优化思路。漏斗对比分析是科学漏斗分析的重要一环。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针对转化率异常环节进行调整。

三、在漏斗分析模型中，科学归因、属性关联的重要性

先谈归因。在科学的漏斗分析中，需要科学归因设置。每一次转化节点应根据事件功劳差异（事件对转化的功劳大小）而科学设置。企业一直致力定义最佳用户购买路径，并将资源高效集中于此。而在企业真实的漏斗分析中，业务流程转化并非理想中那么简单。

以市场营销为例，市场活动、线上运营、邮件营销都可能触发用户购买。A 欲选购一款化妆品，通过市场活动了解 M 产品，后来在百度贴吧了解更多信息，但是始终没有下定决心购买。后来收到 M 公司的营销邮件，A 被打折信息及详实的客户评价所吸引，直接邮件内跳转至网站购买了该商品。

那么，在漏斗设置时，转化归因应该“归”哪一个渠道呢？在这个案例中，运营人员愿意以实际转化的事件的属性为准。邮件营销的渠道在用户购买决策的全流程中对用户影响的“功劳”最大、权重较大，直接促进用户转化。在科学的漏斗分析模型中，用户群体筛选和分组时，以实际转化事件——邮件营销来源的用户群体的属性为准，则大大增大了漏斗分析的科学性。

再一起看属性关联。在进行漏斗分析时，尤其电商行业的数据分析场景中，运营人员在定义“转化”时，会要求漏斗转化的前后步骤有相同的属性值。比如同一 ID（包括品类 ID、商品 ID）才能作为转化条件——浏览 iphone6，购买同一款 iphone6 才能被定义为一次转化。因此，“属性关联”的设置功能是科学漏斗分析不可或缺的内容。

四、漏斗分析场景：

场景一：电商行业不同客户群体的转化情况

某电商企业客户根据客户的消费能力，将客户划分为普通会员、黄金会员、钻石会员。为加强对用户的转化引导，F 欲针对不同用户群体采用不同的运营方式。

图1 普通会员与钻石会员的漏斗转化情况对比

通过对比，可明显看出，普通会员从“提交订单”到“支付订单”的转化率明显低于钻石会员。为找到“支付订单”阶段转化率变低的原因，F公司运营人员应深度分析普通会员转化率情况，如对比不同付费渠道（PC 端、手机端等）的转化情况，找到优化的短板。另外，可以尝试支付订单流程的新手引导，帮助新手顺利完成购买。

场景二：零售行业——中商惠民科学评估站内推广位的效果

首页推广位的效果监控是站内运营重要一环，数据的监测与分析是重要工作，它为站内优化、页面体验提升作出指导。运营人员可以通过用户的点击转化率与购买转化率可以判断页面不同推广位置效果。下图是中商惠民首页推广位“一元促销”、“清洁专场”两个Banner转化率情况对比。（注：为涉嫌商业机密，以下场景模拟真实应用场景而设，数据均为虚拟。）

图2 “一元促销”、“清洁专场”两个Banner转化率情况对比

除此之外，漏斗分析模型已经广泛应用于各行业的数据分析工作中，用以评估总体转化率、各个环节的转化率，以科学评估促销专题活动效果等，通过与其他数据分析模型结合进行深度用户行为分析，从而找到用户流失的原因，以提升用户量、活跃度、留存率，并提升数据分析与决策的科学性等。

关于神策数据

神策数据（https://sensorsdata），一家专业的大数据分析服务公司，致力于帮助客户实现数据驱动。公司推出深度用户行为分析产品神策分析（Sensors Analytics），支持私有化部署、基础数据采集与建模，并作为PaaS平台支持二次开发。此外，还提供大数据相关咨询和完整解决方案。目前已赢得中国银联、聚美优品、百联、中邮消费金融、广发证券、参考消息、中商惠民、米其林、趣店、融360、纷享销客、共享单车、秒拍、36氪等众多行业领先企业认可。希望更深入了解神策数据或有数据驱动相关问题咨询，请咨询4006509827，由专业的工作人员为您解答。

作者：乔一鸭，神策数据运营一枚。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

来自：纽约数据科学 id：NYCDataScience

原文作者：Helen Mayhew, TamimSaleh, and Simon Williams

翻译：Peiwen Lin , Youjun Zhai

校对/编辑：Youjun Zhai

你的数据有目的吗？如果没有，那么你正在原地踏步。下面是一个如何发现目标，并将其转换为行动的方法。

数据分析革命

目前正在进行的数据分析革命具有可以改变公司如何去组织、经营、管理人才和创造价值的潜力。一些公司之中,特别是那些从数据中获得主要回报的企业,正在发生这种变革，但尚未成为主流。

原因很简单：作为唯一能够推动更广泛的业务变革、充分利用高级数据分析的关键人物，CEO和其他高层管理人员，对于数据分析这种他们看来深奥又有很多门道的新事物，保持着敬而远之的心态。

在某个层面上考虑，这是可以理解的。数据分析方法的复杂性、机器学习的日益重要性以及数据集的庞大规模，使得管理层更倾向于“把它留给专家们”。

同时这也是错误的。高级数据分析是一个重要的业务问题。这就意味着CEO和其他高管必须能够清楚地明白这些数据的目的，并将其转化为行动。他们必须要明白，数据分析不单单是数据分析部门的工作，其结果更是能为整个公司都带来洞察力和灵感。

本文介绍了8个理清数据分析目标和提升行动能力的关键要素。我们确信，充分意识到这两个其重要性的领导者们，不仅能借助数据分析解决一些基本问题，还能够更好地解决他们所面临的许多关键和重要的高级管理方面的挑战：传统商业原则下将分析愿景转化为切实结果的需求，部署一系列生产工具和雇用适当人员的重要性，以及应用严格指标和提出难题的必要性。从而提升使用数据分析提高企业绩效的可能性。

第一部分 | “目的导向”的数据

对于不同的公司，“更好的性能”意味着不同的东西。这也意味着应该根据具体案例情况来分离，聚合和分析不同类型的数据。有时，数据点(data point)很难找到，当然，并非所有数据点都是一样的。但是，正是这些能助你达到特定目的的数据点，才是最具价值的。

1. 提出正确的问题 | Ask the right questions

你的机构应该问的确切问题取决于你的最优先事项。问题清晰是至关重要的。例如，好的提问包括“我们如何减少开销？”或者“我们如何增加收入？”，甚至更好的是进一步挖掘问题：“我们如何提高团队中每个成员的生产力？”、“我们如何为患者带来高质量的服务？”、“我们如何从根本上加快产品从研发到上市的时间？”

我们需要考虑如何将重要的功能和领域与最重要的版块结合起来，通过实际的业务示例来，指向真正价值之所在。在对资金和时间有着严格限制的现实世界中，数据分析很难为含糊不清的问题给出答案，例如“数据点显示了什么样的模式？”

一家大型金融公司也因这种开放性的尝试而遭遇了失败：它试图收集尽可能多的数据，想看看大量的数据背后显示了什么。当公司发行这种开放性的尝试结果，有趣但却对提升企业利益没有任何帮助的时候，他们才重新调整了团队。

有了来自管理层的强大支持，这家公司首先清晰了自己使用数据分析想要达到的目标：减少产品开发时间，然后使用客户采纳度，作为衡量此目的的指标。提高数据分析的针对性帮助公司为两个细分市场推出成功的产品。

无独有偶，我们知道的另一个组织也是通过首先创建“数据湖”（data lake）而陷入漫无目的的数据分析中。它花费了过多的时间（实际上是数年的时间）收集和处理原始数据，但几乎没有投入任何精力来思考数据分析的目的以及想要解决的问题到底是什么。管理层之后才意识到那些是急待解决的问题，却已经失去了先机。

如果这些企业先明确了想要解决的问题，再以此为引导来收集数据，那么他们肯定会更快地取得成效，哪怕只有一部分数据可用作分析。

例如，一家著名的汽车公司在一开始就着眼于如何提高利润这一基本问题。随后认识到解决此问题最大的机会是减少在匹配产品设计和工程功能时耗费的开发时间（以及成本）。

一旦公司意识到关键所在，即结合其十年的研发经验教训进行改革，并显著的缩短了开发周期，提升了公司利润。

2. 看起来微不足道的事物，作用却很大 | Think really small... and very big

细节可能决定成败。让我们关注下面这张拍摄于1896年奥运会，100米决赛起跑线上的照片。照片中，参赛运动员们的起跑姿势可谓千姿百态，有直立的，有弯着腰的，也有双手摊开的，只有美国田径运动员ThomasBurke一人采用了现在的标准蹲踞式起跑方法。也正是这种蹲踞式起跑，帮助Burke节省了加速时间从而助他在那一届奥运会上，以12秒的成绩夺得100米跑的金牌。Burke的成功使田径界在短跑比赛中开始普及蹲踞式起跑方式，如今，短跑运动员在比赛中都采用了这种准备姿势。

当然，这个案例可以很好地类比到商业界，那就是当竞争对手迅速采取了同样的最佳方案之后，你的竞争优势就难以维持。

好消息是，聪明的一方仍然可以不断的提升他们的表现，取得突破并回到领先位置。轻松地保持优势是不可能的，但是公司可以找出微小的差异，然后放大并利用它。

“大数据”分析的成果通常表现为数千甚至更多的细微改进。如果一个组织可以将单个任务细化为数个细小的组成部分，并在可能的情况下一一对其进行提升改进，那么由此带来的回报是相当可观的。如果一个组织能够将这些小的改进，系统化的合并到整个连续的流程之中，其带来的回报更是呈指数增长的。

企业所做的一切事情几乎都可以被分解成小的组成模块。

GE（通用电气）公司在飞机发动机中嵌入传感器，以实时跟踪其各部分的性能，从而实现更快的调整，大大减少停机维护的时间。

如果这听起来像是最前沿的高科技（实际上确实如此），那么我们可以看一看更接地气的消费品是怎么做的。一家领先的CPG公司试图增加旗下某知名早餐品牌的利润率。它将整个产品制造过程分解为几个大的步骤，然后通过高级分析，仔细检查每个制造过程，以寻求其中是否有可以提高利润的机会。在这个案例中，公司在烤箱里发现了答案：稍微的调整了烘烤温度之后，不仅产品的味道更好，而且还减少了生产成本。证据就是，优秀的试吃的结果，以及同样优秀的财务报表。

当一系列的流程可以在比原子结构更为复杂的系统中被分解，分析，又被重新组合在一起时，产生的结果可以比原子弹更具威力。一家大型钢铁制造商使用各种分析技术来研究其商业模式的关键阶段，包括需求规划，预测，采购和库存管理。它单独对每个阶段中关键的价值驱动版块进行研究，并缩减或消除效率缺陷，从而节约5％至10％成本。

当制造商将改进后的流程再重组在一起，并将实时信息在每个阶段之间传送时，这些数据分析所带来的，数以百计的微小改进及其所节约的成本，带来了前所未有的收益激增。

通过合理化的端到端系统，将需求计划，预测，采购和库存管理连在一起，制造商实现了近50%的成本节约，节约了相当于几亿美元的成本。

3. 拥抱禁忌 | Embrace the taboo

谨防废进废出（garbage in, garbage out：要保证数据可靠有用，才能保证分析结果的可靠有用）,这个咒语已深入到了商业思维中，有时会阻碍我们的思维和洞察力。

实际上，有用的数据点在不同的案例中有着不同的形式和规模，通常以自由文本维护报告或者PPT演示文档等形式隐藏在企业之中。然而，不少团队经常会忽视这些数据，因为这些数据质量不一、缺乏一致性、过时或者因为看起来并不像是我们定义中的“数据”而被过滤等。

但是如果我们能“废物再利用”，正确的使用这些隐藏着的信息，也许将能得到更清晰有力的结论。在日常生活中，在跳出Excel表格进行信息创建，读取或回应的非二进制世界里，即使是最精英的“金融工程师”（“quant”）处理大量定性的信息，其中大部分都是无法量化信息并且不适合用做数据分析。我们知道，生活中很少有确定的事情，通常我们去衡量概率，考虑各方优势并且记录细微的提示信息。

想一想去超市购物的时候，你总是去4号台结账吗？或者你有没有注意到，今天某个柜台的员工似乎工作效率更高，某个柜台有个顾客拿着现金买单而不是信用卡，某个柜台的收银员没有助手去帮助他打包商品，而在某条队伍排队的顾客的购物车里面有些货物还未称重并且需要分开装？所有这些都是无法量化却可以处理的信息，并且有些数据比其他数据更有价值。但你可能会逐个地去考虑他们，而且当你决定购物车将往哪儿推时会考虑地更多。只是因为4号结账台在你最近几次购物经历中结账速度最快，但这并不意味着在今天也会是最快的。

事实上，虽然原生数据点和历史数据点是有价值的，但它们有其局限性。有一家公司在建立强大的投资审批流程后遇到了这些问题。公司为减少资本资源的浪费，在没有历史数据，以及可靠的信息支持投资回报率预测的情况下，管理层将不予通过新产品。不幸的是，这种严格的制度导致了公司产品上市周期过长，从而使公司不断错过市场。只有放松数据约束，将诸如行业预测、产品专家预测和社交媒体评论等软数据也纳入考虑之中，公司才能更准确地了解当前市场环境和推出新产品的绝佳时机。

当然，Twitter信息与远程信息处理并不一样。但是不能仅因为数据不完整或基于设伦，或是存在偏差，就把这些数据当作“垃圾”来对待。软信息确实有它的价值。特别是当人们尝试将获取更精准的数据与更好的推测未来形势时，这些软数据甚至会起到关键作用。

为了以智能而细致的方式优化可用信息，公司应努力构建一个强大的数据世系模型（data provenance model），以识别信息来源源，并实时评估其可靠性（可能随时间而提升或降低）。记录数据的质量，以及确定数据之类的方法，这不仅是数据透明度问题，同时也是一种风险管理的形式。所有的公司都在一个不确定性下竞争，有时一个关键的决定性数据的确定性不一定能满足人们的期待。一个构架完善的世系模型可以使用负荷测试检查对行/不行决策的可行度，从而帮助管理者决定投资去改善关键数据集的合适的时机。

4. 连点成线 | Connect the dots

在边界上往往能产生新见解，就像考虑软数据一样能够带来新见解一样，结合信息来源来全盘考虑，可以使这些见解更加清晰。

一些企业往往在一项独立的数据集上进行深入挖掘，却没有考虑到各种不同数据集结合在一起时所传达的信息。例如，人力资源部可能有完整的员工绩效数据，营运部门有特定资产的综合信息，而财务部的投资回报率的备份财务报表。仔细审查每一份信息肯定是有用的，但是互相独立的信息数据集之间也许存在着更多尚待未开发的价值。

有家工业公司提供了一个具有启发性的实例。公司核心业务使用了最先进的机器，它可以同时负载多个任务。机器的每一个部件都价值上百万美元，而公司采购了数百个单元，总共投资了数十亿美元。这些机器可提供了优秀的运行性能数据，该公司据此评估了机器的每个部件一直以来的运行情况。毫不夸张地说，让机器保持持续运作是公司成功的关键。

尽管如此，这些机器实际上花费了比管理人员预期更长的维护时间和更昂贵的维护费用，停机维修的每一个小时都对公司有着极大的影响。虽然公司派出了强大的分析团队去仔细筛选分析机器的运行性能数据，但还是没有找出确切的故障原因。

然后，当公司将人力资源部提供的信息也纳入分析考虑中时，产生次级输出的原因变得很清楚：因为负责人在关键时刻未在场，导致机器缺少定期维护检查。

奖励机制，而非器械性能，才是这个问题的本质原因。最终，一个简单的政策调整就能解决这个问题，但只有当将不同的信息数据集结合起来审查时才能发现问题本质之所在。

第二部分 | 从分析结果到实际行动

在前面的工业公司的案例中，在视觉上就像Venn图一样(维恩图，用于显示元素集合重叠区域的图示。)：当将两个数据集放在一起观察研究时，数据集重叠的部分往往显示了问题所在。当你同时分析50个数据集时，其呈现信息的能力则更为强大-前提是繁杂的数据没有造成过度的复杂，从而减弱了数据分析的作用。为了避免这个问题，领导者应该鼓励他们的企业，从多方面入手，来分析数据。如果数据分析工作在孤立的环境中进行而不考虑全局的其他影响，如果数据分析结果在实际情况中没有起到作用，更糟糕的是，如果数据分析得到了正确的结论，可企业并未采纳和依次采取对应的实际行动；那么，这个分析工作就是失败的，没有成功的。

5. 采用迭代循环而不是单向流程 | Run loops, not line...

数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览facebook的好友动态，你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。

这些角色的职责范围，从预测未来，到发现你周围世界的模式，到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色，他们如何组合在一起，并且帮你找出那些角色是适合你自己的。

什么是数据分析师？

数据分析通过谈论数据来像他们的公司传递价值，用数据来回答问题，交流结果来帮助做商业决策。数据分析师的一般工作包括数据清洗，执行分析和数据可视化。

取决于行业，数据分析师可能有不同的头衔（比如：商业分析师，商业智能分析师，业务/运营分析师，数据分析师）不管头衔是什么，数据分析师是一个能适应不同角色和团队的多面手以帮助别人做出更好的数据驱动的决策。

深度解析数据分析师

数据分析师拥有把传统的商业方式转换成数据驱动的商业方式的潜质。虽然数据分析师是数据广泛领域的入门水平，但不是说所有的分析师都是低水平的。数据分析师不仅仅精通技术工具，还是高效的交流者，他们对于那些把技术团队和商业团队隔离的公司是至关重要的。

他们的核心职责是帮助其他人追踪进展，和优化目标。市场人员如何使用分析的数据取帮助他们安排下一次活动？销售人员如何衡量哪种类型人群能更好的争取？CEO如何更好的理解最最近公司发展背后潜在原因？这些问题就需要数据分析师通过数据分析和呈现结果来给答案。他们从事的这些和数据打交道的复杂工作能够为他们所在的组织贡献价值。

一个高效的数据分析师能够在商业决策的时候摒弃臆想和猜测，并且帮助整个组织快速成长。数据分析师必须是一个横跨在不同团队中的有效桥梁。通过分析新的数据，综合不同的报告，翻译整体的产出。反过来，这也能帮助组织对于自身的发展时刻保持警觉。

公司的不同需求决定了数据分析师的技能要求，但是下面这些应该是通用的：

清洗和组织未加工的数据

使用描述性统计来得到数据的全局视图

分析在数据中发现的有趣趋势

创建数据可视化和仪表盘来帮助公司解读说明和使用数据做决策

呈现针对商业客户或者内部团队的科学分析的结果

数据分析师对公司科技和分科技的两面都带来了重大的价值。不管是进行探索性的分析还是解读经营状况的仪表盘。分析师都促进了团队之间更紧密的连接。

什么是数据科学家？

数据科学家是使用他们在统计学和建设机器学习模型方面的专业技术去进行关键商业问题预测的专家。

数据科学家也需要像数据分析师一样去清洗、分析、可视化数据。然而一个数据科学家需要在这些技能上更深入也更专业，他们还可以去训练和优化机器学习的模型。

深度解析数据科学家

数据科学家能产生巨大的价值，他们处理更多开放式的问题并且利用他们专业的统计学和算法知识发挥更大杠杆的作用。如果说数据分析师专注于从过去和现在数据层面来理解数据的话，那么数据科学家就是专注于做出对未来更可信的预测。

数据科学家通过有监督学习（分类、回归）和无监督学习（聚类，神经网络，异常监测？）机器学习模型来揭开隐藏着的规律。本质上来说他们是训练那些能让他们更好的识别模型和产出精确预测效果的数学模型的人。

下面是数据科学家完成的一些例子：

评估统计学模型来决定分析有效性

使用机器学习来建设更好的预测算法

测试和持续提升模型精确度

进行数据可视化来概括分析的结论

数据科学家为预测和理解数据带来了一种完全崭新的方式。虽然数据分析师可能也可以去描述趋势和为商业团队传递这些结果。但是数据科学家能剔除新的问题并且可以去建模来做出对新数据的预测。

什么是数据工程师？

数据工程师建设和优化系统。这些系统帮助数据科学家和数据分析师开展他们的工作。每一个公司里面和数据打交道的人都需要依赖于这些数据是准确的和可获取的。数据工程师保证任何数据都是正常可接收的，可转换的，可存储的并且对于使用者来说是可获取的。

深度解析数据工程师

数据工程师建立了数据分析师和数据科学家依赖的基础。数据工程师对构造数据管道并且经常需要去使用复杂的工具和技术来管理数据负责。不想前面说的两个事业的路径，数据工程师更多的是朝着软件开发能力上学习和提升。

在比较大的组织中，数据工程师需要关注不同的方面：比如使用数据的工具，维护数据库，创建和管理数据管道。不管侧重于什么，一个好的数据工程师能够保证数据科学家和数据分析师专注于解决分析方面的问题，而不是一个数据源一个数据源的去移动、操作数据。

数据工程师往往更加注重建设和优化。下面的任务的示例是数据工程师通常的工作：

为数据消费开发API

在现存的数据管道中整合数据集

在新数据上运用特征转换提供给机器学习模型

持续不断的监控和测试系统保证性能优化

你的数据驱动的事业路径：

现在你已经了解了这三种数据驱动的工作了，但是问题还在，你适合哪一种呢？虽然都是和数据相关，但是这三种工作是截然不同的。

数据工程师主要工作在后端。持续的提升数据管道来保证数据的精确和可获取。他们一般利用不同的工具来保证数据被正确的处理了，并且当用户要使用数据的时候保证数据是可用的。一个好的的数据工程师会为组织节省很多的时间和精力。

数据分析师一般用数据工程师提供的现成的接口来抽取新的数据，然后取发现数据中的趋势。同时也要分析异常情况。数据分析师以一种清晰的方式来概括和提出他们的结果来让非技术的团队更好的理解他们现在在做的东西。

最后，数据科学家更倾向于基于分析的发现和在更多可能性上的调查来获得方向。不管是训练模型还是进行统计分析，数据科学家试图去对未来要发生的可能性提出一个更好的预测。

不管你的特殊的路径是什么，好奇心都是这三个职业最本质的要求。使用数据来更好的提问和进行精确的实验是数据驱动事业的全部目标。此外，数据科学家领域是不断的进化的，你必须要有强大的能力去持续不断的学习。

有一句话叫做三人行必有我师，其实做为一个开发者，有一个学习的氛围跟一个交流圈子特别重要这是一个我的大数据交流学习群531629188不管你是小白还是大牛欢迎入驻，正在求职的也可以加入，大家一起交流学习，话糙理不糙，互相学习，共同进步，一起加油吧。

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

再说说APP数据分析这一点，很多很多的朋友会在私底下找一些数据可能会看不明白不了解是什么。我呢作为一个较为优秀的推广人员，你除了能够把自己的推广策略贯彻下去以外，在平时的工作中呢，你也要吧日常的一些数据做一份仔细的分析，因为这对你以后的行为是很有帮助的，比方说你要投放的关键词及一些很大量的情况至少要心中有数，否则的话呢你的ASO体验会比较的阻塞。

安卓这边建议大家也不要嫌弃麻烦，每多一条渠道都能加固自己的数据分析，这些是对自己的推广有着非常巨大的帮助的，你可以很详细的了解到各个渠道平台的数据，用户的流量概况，有了这些数据就可以针对性的去做一些必要的调整，可以做到这些就很棒棒，主要再说一些APP后台的内容，这种数据我们可以分两种，一种呢是由第三方统计的，另一种就是官方统计的，你是开发者的话你的苹果开发者账号是可以看到这个数据的，这是应用市场自己的官方统计。

苹果它只有一个市场就是说只有一个渠道，所以只有一个官方的统计后台，安卓则不同，每一个市场都是有对应的，都会有自己后台的自己一个官方的统计，官方统计有自己的特点，就是不用加ASK或在自己的APP里加一些代码才可以去使用，官方统计自己应用市场获取的是自己的用户数据，所以是完全不需要在自己APP上加入一些东西的。

第三方的统计工具就非常有代表性了，像国内目前某些CP用的多的还有盟友，像现在很多的开发者会去使用国外的Google统计与growingio。那特点是这些工具需要自己APP里要有集成的SDK才可以去使用它。

再重点讲一下苹果的后台统计，后台里我们可以看到我们的APP跟分析，销售等等的数据，APP分析是苹果自己的一个官方的统计工具，点进去就可以看到这些数据，有展示的次数，还有购买量跟销售额和使用的次数等等，还有一个月的对比数据，他的数据是这个月最近一个月以上个月的一个数据对比，可以看到这个APP和上个月的对比有着哪些差距，还有一个指标，指标代表的是什么呢，你可以直接点击进入到APP的详细页面。

主要分四个大类：概述你的访客来源还有使用的情况，使用的情况也就是存活率，后面再说，要知道这部展示的次数跟APP购买的数量这些数据，下面你可以看到用户分布的国家地区，这样就便于我们自身的一个优化的语言，本地语言主要是为了增加自己的一个关键词覆盖，这样操作可以方便自己影响到自己APP获取到的一些国家的用户，自己选择其他国家语言说明自己的APP在这些国家的应用商店上有所收入会出现用户来自其他的国家的情况，周流程还有两、三周的甚至一个月的流程，APP购买量根据自己设备进行划分，可以看到用户是通过Iphone还是iPad。

对于具体的业务场景问题，我们该怎么办呢?我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1 数字和趋势

看数字、看趋势是最基础展示数据信息的方式。

在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。

上图中，我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard)，并且实时更新。

这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2 维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。

在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。

3 用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群(segmentation )的手段。

我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。

而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。

上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。

这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4 转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。

漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。

通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。　　其中，我们往往关注三个要点：　第一，从开始到结尾，整体的转化效率是多少?　　第二，每一步的转化率是多少?　　第三，哪一步流失最多，原因在什么地方?流失的用户符合哪些特征?

上图中注册流程分为 3 个步骤，总体转化率为45.5%;

也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。

但是我们不难发现第二步的转化率是 56.8% ，显着低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。

显而易见第二步的提升空间是最大的，投入回报比肯定不低;如果要提高注册转化率，我们应该优先解决第二步。

5 行为轨迹

关注行为轨迹，是为了真实了解用户行为。

数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。

网站购买转化率低，以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题(比如是不是商品不匹配等等)，从而为决策提供依据。

6 留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。

每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。

我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加 5 个以上的联系人(上图红色线条)，那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。

这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7 A/B 测试

A/B 测试用来对比不同产品设计/算法对结果的影响。

产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素：

第一，有足够的时间进行测试;

第二，数据量和数据密度较高。

因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8 数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。

利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。

当然，仅仅掌握单纯的理论还远远不够，实践出真知。数据分析的方法大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。