大数据分析的五个基本方面

1、可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2、数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3、预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4、语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5、数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1、交易数据（TRANSACTION DATA）

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2、人为数据（HUMAN-GENERATED DATA）

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3、移动数据（MOBILE DATA）

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）。

4、机器和传感器数据（MACHINE AND SENSOR DATA）

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题之前检查设备）。

数据分析工具达到哪些要求和目的？

能应用高级的分析算法和模型提供分析以大数据平台为引擎，比如Hadoop或其他高性能分析系统能够适用于多种数据源的结构化和非结构化数据随着用于分析模型的数据的增加，能够实现扩展分析模型可以，或者已经集成到数据可视化工具能够和其他技术集成

另外，工具必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括（但不限于）：

集群和细分：把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更细分的目标市场。分类：把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。恢复：用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。联合和项目集挖掘：在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。相似性和联系：用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。神经网络：用于机器学习的非直接分析。

人们通过数据分析工具了解什么？

数据科学家们，他们想使用更复杂的数据类型实现更复杂的分析，熟知如何设计，如何应用基础模型来评估内在倾向性或偏差。业务分析师，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。企业经理，他们想要了解模型和结论。IT开发人员，他们为以上所有类用户提供支持。

如何选择最适合的大数据分析软件？

分析师的专业知识和技能。有些工具的目标受众是新手用户，有的是专业数据分析师，有的则是针对这两种受众设计的。

分析多样性。

根据不同的用户案例和应用，企业用户可能需要支持不同类型的分析功能，使用特定类型的建模（例如回归、聚类、分割、行为建模和决策树）。这些功能已经能够广泛支持高水平、不同形式的分析建模，但是还是有一些厂商投入数十年的精力，调整不同版本的算法，增加更加高级的功能。理解哪些模型与企业面临的问题最相关，根据产品如何最好地满足用户的业务需求进行产品评估，这些都非常重要。

数据范围分析。

要分析的数据范围涉及很多方面，如结构化和非结构化信息，传统的本地数据库和数据仓库、基于云端的数据源，大数据平台（如Hadoop）上的数据管理等。但是，不同产品对非传统数据湖（在Hadoop内或其他用于提供横向扩展的NoSQL数据管理系统内）上的数据管理提供的支持程度不一。如何选择产品，企业必须考虑获取和处理数据量及数据种类的特定需求。

协作。

企业规模越大，越有可能需要跨部门、在诸多分析师之间分享分析、模型和应用。企业如果有很多分析师分布在各部门，对结果如何进行解释和分析，可能会需要增加更多的共享模型和协作的方法。

许可证书和维护预算。

几乎所有厂商的产品都分不同的版本，购买费用和整个运营成本各不相同。许可证书费用与特性、功能、对分析数据的量或者产品可使用的节点数的限制成正比。

易用性。

没有统计背景的商业分析师是否也能够轻松地开发分析和应用呢？确定产品是否提供了方便开发和分析的可视化方法。

非结构化数据使用率。

确认产品能够使用不同类型的非结构化数据（文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等），并且能够解析和利用收到的信息。

可扩展性和可伸缩性。

随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。

三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？需要哪些技能？让我们一起来看看吧。

这3个职业是如何定位的？

数据科学家是个什么样的存在数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。数据工程师是如何定义的

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。他们的核心价值在 于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。

数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时 候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师该如何理解数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。

这3个职业具体有什么职责？

数据科学家的工作职责数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。数据工程师的工作职责分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说，能反映大数据工程师工作的最简单直接的例子就是选项测试（ABTest），即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。数据分析师的工作职责互联网本身具有数字化和互动性的特征，这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往“原子世界”中数据分析师要花较高的成本（资金、资源和时间）获取支撑研究、分析的数据，数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。

此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

想要从事这3个职业需要掌握什么技能？

A. 数据科学家需要掌握的技能

1、计算机科学

一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说，就是对处理大数据所必需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

2、数学、统计、数据挖掘等

除了数学、统计方面的素养之外，还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN(TheComprehensive R Archive Network)的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。

3、数据可视化(Visualization)

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要...

拿到体测表之后，萌萌指着一项又一项数据问她的教练“这是啥意思？”

初入健身房，体测之后，我们对于自己的身体就会更加了解，也让后面的训练更有了针对性。如果你是一个健身老炮，那么定期的体测可以监控你的训练成果。

去健身房，相信你的教练会耐心的讲解给你每一项体测数据，但是或许因为初次到了新的环境，好奇心让你根本无法专注在体测这件事儿上。导致半个小时过去了，还是搞不懂体测到底是个什么鬼。

赛普君替辛苦的教练们总结了一下8个常见的体测数据，干货指数5星，可收藏可分享！

8个数据，教你看懂健身房体测报告

1.体重

这是我们最常见的一项数据了，谁家里还没有一个体重秤呢。体重分为毛体重（穿衣穿鞋）和净重（男的只穿内裤，女的只穿内衣内裤）。称体重最好在每天的同一个时间段测量，因为毛体重因为着装的变化，会影响数据，所以建议称净重。

称体重对于增肌初期和减脂初期的朋友们都是有参考意义的，因为如果你的训练和饮食足够科学，会有很明显的数据变化。我建议大家吃完火锅第二天早上立马测体重这种事儿就省了吧，无非就是去一趟厕所的事儿。

2.骨骼肌

骨骼肌包含在肌肉量内，但不等于肌肉量，通常附着于骨所以叫骨骼肌。

这里有一份数据，大家可以参照自己的骨骼肌含量是否在标准线。

我们可以通过抗阻力训练，配合科学的饮食和休息，让它的数值达到标准线以内，让我们有健康的身体和良好的体型。

3.身体水分含量

无论是男人还是女人，我们都是水做的。因为身体60%+的重量都是由水分来组成的。当然了这些数据都是受人的性别、年龄和胖瘦这些因素影响的。如果你经常给别人做体测，你会发现一个规律，那就是年长肥胖的人身体水分含量偏低。

无论是肌肉发达的人还是体脂肪很高的人，都需要及时充分的补水，参照《运动中你真的会喝水补液吗？丨赛普经88讲》不知道什么是体脂肪？往下看！

女人是水做的

4.体脂肪

体脂肪是人体脂肪所占的重量，是总体的重量。人体的脂肪就是人类在极端恶劣环境下维持生命最好的能源，人类进化几百万年，绝大部分时间都处于吃不饱饭的状态下，自然会进化出极力储存脂肪的生理机制。

所以没有必要谈脂肪色变，为了看到腹肌那么你就要努力减少体脂肪，如果只是为了维持更为健康的状态，体脂肪不宜超过体测数据表的安全区间（因身高体重而异）。

（具体数值因人而异）

5.体脂百分比

体脂百分比就是我们总说的体脂率，但是体测数据表上不怎么用体脂率这个词，就是体脂肪的重量占身体总重量的百分比数值。

体脂率也是我们判断一个人是否肥胖的标准之一：

能看到清晰腹肌的体脂率一般不会超过百分之十几（有的人腹肌发达，数值可以偏高），参照下图：

6.身体质量指数

又叫Body Mass Index，所以我们也可以称之为BMI，这个国际化的衡量人胖瘦程度的标准并不适用于健身的人和老人、小孩儿。

如果你是一个强壮的肌肉型训练者，很有可能测试结果是偏肥胖，所以大可以跳过不看。但是对于初次体测还未开始健身的你，还是有参考价值的。

7.腰臀比

腰臀比是你的杨柳细腰和臀部围度的比值，腰臀比是一个人是否健康的参考，健康女性腰臀比小于0.85，健康男性腰臀比小于0.9。在增大臀围的同时，我们要减小腰围，才会让身体更为健康。《中国成人超重和肥胖症预防控制指南》明确规定，男性腰围≥85厘米，女性腰围≥80厘米即为超标。

一项发表在《新英格兰医学杂志》的涉及欧洲9个国家超过35万人的研究发现，与上面的BMI相比，腰臀比可以更准确地衡量一个人的健康标准。研究显示，腰臀比每增加0.1，男性早亡几率增加34%，女性增加23%。

8.基础代谢

基础代谢是人体为了维持生命状态，所作出的最低消耗。也就是说我们什么都不做，在沙发上北京瘫，眨眼、呼吸所需要的基本消耗就是基础代谢。

但是人的肌肉量越大，消耗量就会越大。所以想要减脂的人就要努力的提升自己的肌肉量，增大基础代谢，让自己躺着就瘦。

赛普深圳校区基础实践导师胡哲霆

然而普通人去健身房的状态，并非测试基础代谢最佳状态。因为影响基础代谢的因素太多了：吃撑了、情绪变化、跑了几步等等都会影响数据的表现。它有一定的说明意义，但是不要迷信。你的教练也会建议你多次对比测试，因为多次对比才会减小误差。

体测数据没有那么神乎其神，相信任何一个真诚的教练都不会对这个结果过分夸大，所以你也不要总是抱着体测表耿耿于怀。作为体测的一部分，它的结果不会过多的影响你的运动能力，但是却反映了你过去的日子是如何对待自己的身体。

而今后的每一次体测都可以告别一次过去的自己，这个过程，对于一个要认认真真训练的你来说，才是最有意义的！

赛普君本次的分享就是为了把体测机这件事扒个明白，教练朋友们也可以直接收藏，再有会员宝宝不清楚的话直接发本文过去就好，方便了彼此，也节约了更多的时间专心训练，因为体测是0，行动才是1！

你在意体测仪上面的数据吗？欢迎在下方评论区留言，赛普君送你进精选。

如果你觉得这篇文章还不错请分享给好友，你的分享就是我们的动力！

当喜欢上一个人的时候，我们会将关于他的事情，或是我们的相处细节反复放大，揣测他每一句话中否蕴含什么深意，试图找到对方喜欢自己的蛛丝马迹，但往往，因性格或刻意隐藏，我们很难判断一个人的真实心意。

其实如果真正喜欢上一个人，无论如何伪装，总是会不经意表现出来的。

这次用大数据告诉大家：怎么判断一个人喜不喜欢你？

01，男生喜欢你，会有什么样的表现？

喜欢即主动，绝对不会忽冷忽热！

有91.21%的男生表示：对待喜欢的女生，会变得主动，而且这种主动是控制不住的。所以女生们，如果对方不主动，不要再想“他可能是忙/他不好意思/他内向...”，这都是自欺欺人的借口。如果一个人喜欢你，他就一定会主动。

这种主动具体表现在：主动了解你的一切，主动制造机会，再忙也不会忽略你的信息......如果他不够主动，你以为那是不动声色的喜欢，但是事实上，那就只是不喜欢而已，或者是不够喜欢。

在喜欢的人面前，要有能力

男生通常对自己的能力有着谜一般的自信，面对喜欢的人，肯定会在她面前大显身手，积极帮她解决问题，以此来证明他的能力。

如果你向喜欢你的男生倾诉烦恼，他可能倾听能力不够、安慰能力不行，但他绝对会想帮你想方法，或是直接帮你把问题给解决了。

看到喜欢的人，眼神会发光

有85.56%男生表示看到喜欢的人眼神会发光，有时自己不知道，但除了自己以外的人都知道！

行为有时可以被掩饰和伪装，但眼神骗不了人，那是最容易泄露情感的地方。如果你从行为判断不出他是否喜欢你，那就多从眼神观察观察吧。

偷偷看她：不经意恰恰是刻意

女孩儿们，当你发现男生总是在偷偷看你，或是你们的目光经常相遇，那他很可能是对你有意思了。喜欢上一个人，总会忍不住偷偷关注她。

当你和他视线碰撞时，他会装作不经意看向别处，或假装思考，就是怕被你发现，但有时这种不经意恰恰在掩饰某种刻意。

02，怎么判断一个女生，是不是喜欢你？

主动中夹杂着期待

“主动”定律对男女都适用，面对喜欢的男生，再矜持的女生也会忍不住主动。她们可能不像男生那么明显，但你绝对会察觉，比如主动找你帮忙、制造话题、关心你......

只是女生总是容易顾忌更多。她的每一次主动，都会伴随一系列的自我怀疑：我好像太主动了？有没有打扰人家？他会怎么想？WTF自己好贱！其实，女生总会处于想主动联系又不想过于主动，最后还是会主动的反复无常中。

当一个女生对你主动得云淡风轻，请相信她内心一定是波澜壮阔的，拒绝也请委婉些，不爱也别伤害。

调侃、开玩笑、撒娇

当女生没喜欢上一个男生时，是很不屑撒娇的。作为现代独立女性，有思想有品位，为何要撒娇。

对女生来说，撒娇是示弱，是退让，更是示爱：我有勇气面对一切困难，也能摆平世界的一切，但只有在你面前，我永远是个弱不禁风的小女生。

温柔杀手锏——鼓励与安慰

面对喜欢的男生，再刁蛮的女生都会有温柔的一面。在你失意时她会安慰你，当你有成绩时她会夸你鼓励你。她会变得很在意你的情绪变化，你开心，她更开心，你心情不好，她心情比你更差。

含情脉脉眼神杀

80.71%的女生表示对喜欢的男生的眼神绝对不一样~那是一种含情脉脉、温柔又害羞的眼神，光从眼睛就能看到笑意。

人群中一眼就能找到他，看他背影眼神都会变温柔，和他聊天都小心翼翼，字字斟酌。

容易吃醋

吃醋也是一个很明显的特征，喜欢的男生和其他女生走得太近，女生会超级计较，男生的一个西魏举动，都会被放大无数倍！

吃醋的女生，会用其他一些方式表达不满，常是故意接近其他男生，看看他的反应，一次证明自己的重要性。

03，四招让你们的关系更进一步

暧昧时期，女生纠结这样的关系算什么，为什么他不表白；而男生可能因不确定对方的心意，不敢冲动表白，然后彼此就在这种微妙的关系中干着急。

那么那在此期间，怎么让彼此关系更进一步呢？具体情况具体分析：

给女生支招

女生喜欢男生多一点

女生喜欢上一个人时，真的会变得很大胆，甚至头脑发热智商下降！女生们，当你发现自己比男生主动，而对方处于不拒绝又不主动的状态时，最好的方法——以退为进。

控！制！自！己！停止单方面主动，甚至可以刻意避开他。如果对方在意你，绝对会主动找你；如果对方仍然不主动，那可能真的不喜欢你，更恶劣的可能故意吊着你。

双方都喜欢彼此

有一种情况是，你们都能感觉到彼此的喜欢（判断不出来请看回上文），就差那临门一脚，但女生又不想表白，怎么办呢？——来点冲突，制造吃醋氛围。

可以适当的试探，但要拿捏好度数，不然真把对方气走了就得不偿失了。如果他还无动于衷，那可能是你放大了他的喜欢，又或者你的表演太拙劣了...

给男生支招

男生喜欢女生多一点

男生们，当你发现常常是自己主动，对方也没啥表示，那你可以减少主动次数。如果对方主动联系你，说明她对你是有好感的。这时可以选择表白，如果对方拒绝你但又和你保持密切联系，还常常找你帮忙，那你可能就是被备胎了。

双方喜欢彼此

对于男生这种自恋的生物，很容易觉得女生是喜欢自己的。为了避免判断失误，建议男生听听彼此朋友意见，确定她是不是喜欢你。如果是，那不表白还等着过年啊！

最后，愿所有女孩都能找到好的男孩，所有男孩都能保护好自己喜欢的女孩。收获一份真诚的恋爱，余生才不后悔。

· 大数据的预测能力是巨大的，百度通过搜索点击率预测的结果越过任何专业机构，如通过对艾滋病点击分析掌握艾滋病患者的准确应超过卫生机构。通过对旅游点击率的分析可提前预测旅游景点的客源爆满。开发大数据红利大有可为。

· 对基础设施的认识要有新的发展，农业时代的基础设施主要是水利等，工业时代的基础设施主要是交通，能源等，但信息时代的基础设施主要是大云物移，即大数据，云计算，物联网，移动通信，新的基础设施将决定未来的发展前景。

· 众筹应从筹资功能向平台服务发展，通过建立众筹平台可以实现众多功能：一是发展种子用户，获得用户数据；二是传统营销信息，组织市场推广；三是实现多元化需求，包括融资、预测、团购、电商、物流等，众筹平台已成为一个整合资源的大平台。

· 云计算正在实现两大方式的变革：第一变革信息生产方式，从信息的小生产转向大生产，从信息的分散生产转向集中生产；第二变革信息消费方式，众多信息产品集中到一个平台上，形成信息消费的大卖场。云计算是高效率，低成本的信息服务大平台。

马总说过这是一个DT的时代，一个从IT到DT转变的时代。确实这几年到处都能听到诸如“云计算”、“大数据”、“上云”的谈论，确实随着云计算的兴起，依托于相对低成本、高稳定性的云设施构建平台的成本越来越低，越来越多的公司都在推数据相关的平台、产品。如阿里、京东、百度、腾讯，以及一些打着大数据旗号的创业公司都有出自己的数据平台和产品，用户依托于平台确实大大降低了数据处理、使用的难度，降低了从数据挖掘价值的时间成本。于此同时，平台架构的变迁也成为备受关注的问题。今天我们就来看看有哪些大数据的平台架构你不知道。

489034603

一、首先是数据方面（大数据时代以数据为主导）：如何进行模型分层？一般模型分层计算程序，以哪种语言为主？

从数据仓库 或 大数据平台 的角度来讲，数据的分层，大体有两种思路：

a) 基础数据层：主要避免后续数据应用层的大变更。一般面向各业务系统或数据源集，利用业界较为先进的数据模型（如FS-LDM），按数据的特性（即数据驱动）进行数据的整合,以形成相对稳定的基础数据模型层。

b) 应用数据层：一般是面向各应用需求 或 业务用户，利用业界较为合理的数据模型理念（如星型\维度模型），按需求的要求（即需求驱动）进行数据的分布，以形成统计方便、展示友好、满足需求的应用数据模型层。

在数据流向 或 数据处理的过程中，所使用到的语言或方式可能更多的是以下两大类：

a) 基于传统数据库：大多采用ETL的方式，进行数据的抽取、清洗、整合；这中间，可能会利用到类似DataStage，Kettle等工具，用得最多的，可能就是各数据库提供的SQL语言了，SQL语言使用简单、方便、学习门槛较低，且易于掌握。

b) 基于大数据平台：大多采用的开源的工具 或 语言，如Hive, Hbase , Spark,Python等。这里面，可能使用更多的是Hive 与 Python， 这两个工具学习简单，易于掌握，并且，进行数据处理时，也更直观、方便。

二、架构方面：在架构过程中，一般以7点展开，如：

a. 存储和计算都基于HIVE；

b. GREENPLUM作为HIVE的“cache”存在，供用户做一些小数据的快查询，报表存储；

c. 调度：和canaan框架进行整合，支持用户快速新增任务，并自动导入任务依赖；

d. 主数据：保存了数据仓库元数据信息，供用户查询和系统内部各个模块交互；

e. ACL：构建了数据仓库数据访问权限控制，包括用户权限申请、审批者审批、数据赋权等；

f. 传输；

g.监控：由于任务数量增长较快（2000+），运维已经是个问题此外，需花了较大精力做了可视化的工作：

有些朋友不认为Hive是一个数据库，认为Hive是一个类似传统数据库的SQL引擎的工具，虽然Hive有自带的元数据存储库，但这个库里面，也只是存放了Hive工具为完成用户提交的请求而必须要的Hadoop的元数据信息 及两者的映射关系数据；并没有存放用户的任何数据，用户的数据还是存放在Hadoop或Hbase等文件系统或数据库中。

在以上这7点中，最难的就是：数据治理 与 系统监控 这两块

三、数据应用：数据一般以哪种形式，呈现给用户？技术上是通过哪些策略实现？

数据应用主要分成两大类：

a) 面向业务人员：一般是自行研发一个界面美观的WEB应用，调用业界成熟的工具（如MSTR,COGNOS)的API，实现数据展示给终端用户进行查看。

b) 面向IT专业人员：一般是直接从数据库/文件系统中，借助SQL或其它的开源工具，直接查询、统计、分析、挖掘；这样会更直接、更方便。

以上这些可供大家测试一下，有哪些知识是自己还不熟练的，可以再学习，个人观点不喜勿喷，谢谢大家。

另外，如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

2017年中国高考已火热开启。高考是一场青春的战役，敢拼搏，方能不留遗憾。对于那些今天参加高考的同学，在此预祝大家高考顺利，一举夺魁，榜上有名！

对于那些已经参加了高考或者已经过了高考阶段的大朋友，这里准备了一份大数据行业的高考题目，下面就来参与答题吧，看看你能考多少分？

前面高能，非专业人士可以走了

2017年大数据行业高考考试卷

一、 单项选择题

请将正确答案填在答题卡上（每题5分，共50分）

1、文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等是（ ）

A、结构化数据 B、非结构化数据 C、半结构化数据

2、数据量最小的基本单位是bit，那么1 ZB = （ ）EB

A、3.1415926 B、1024 C、1000 D、1,048,576

3、下面哪位科学家是2012年出版的图书《大数据时代》的中文译者？（ ）

A、周涛 B、涂子沛 C、维克托·迈尔·舍恩伯格

4、分布式系统基础架构Hadoop的创建者是（ ），Hadoop的标志是（ ）

A、维克托·迈尔·舍恩伯格 一只美洲豹

B、Doug Cutting 一个棕黄色的大象

C、吴恩达 一只大熊猫

5、Hadoop的框架最核心的设计是：（ ）

A、HDFS和MapReduce

B、NameNode和Linux 集群

C、C++和PHP

6、2015年09月05日，国务院印发了《____________》

A、中华人民共和国网络安全法

B、网络游戏未成年人防沉迷系统

C、促进大数据发展行动纲要

7、怎样让一个Hadoop不工作？（ ）

A、Hadoop的工作–清除工作ID

B、拔电源砸电脑

C、请Hadoop喝一杯啤酒

8、大数据与云计算是什么关系？云计算技术就是一个_____，大数据是要依靠云计算技术来进行______的。

A、服务器 存储

B、容器 存储和计算

C、基础设施 数据分析

9、2017年数博会，马云和李彦宏在会上隔空对战，马化腾劝架的时候说，未来互联网最关键的是（ ）

A、大数据

B、创新和技术

C、场景

10、2017名企菁英大数据应用人才联盟大会将在哪天开展？

A、6.10

B、6.11

C、6.12

二、 多项选择题

请将正确答案填在答题卡上（每题5分，共50分）

11、Python是一种面向对象的解释型计算机程序设计语言。在大数据领域，Python可以用来做__________

A、数据可视化

B、数据分析

C、算法

D、机器学习

12、关于大数据，IBM提出的5V特点指的是？（ ）

A、Volume（大量）、Velocity（高速）

B、Variety（多样）、Value（低价值密度）

C、Veracity（真实性）

D、以上皆是

13、下面哪些大数据处理技术是基于Apache软件基金会的开源项目？（ ）

A、Hadoop和Spark

B、TensorFlow和Presto

C、Hive和Beam、

D、Kafka和Kylin

14、下面哪些公司是大数据公司？（ ）

A、阿里、百度和腾讯

B、滴滴出行、蚂蚁金服和今日头条

C、万达电商、沃尔玛和屈臣氏

D、IBM、微软和苹果

15、下面哪些高校可报考大数据专业？ （ ）

A、清华大学、北京大学和中国人民大学

B、华东师范大学、贵州师范大学、云南财经大学

C、同济大学、西安交通大学、中国海洋大学

D、电子科技大学、复旦大学、广西科技大学

16、下列哪个是 Hadoop 运行的模式？（ ）

A、单机版

B、伪分布式

C、分布式

17、下列哪项可以作为集群的管理？（ ）

A、Puppet

B、Pdsh

C、Cloudera Manager

D、Zookeeper

18、一套完整的大数据架构由多个“层”组成，下面那些层是大数据架构里的数据层？ （ ）

A、数据存储和数据采集

B、数据清洗和数据挖掘

C、数据查询和数据可视化

D、数据应用和消息队列

19、凯文·凯利对未来商业预言“所有生意都是数据生意”。那么对于淘宝卖家小刘来说，大数据可以帮助他做什么？（ ）

A、店铺装修和推广营销

B、设计爆款产品和上新货

C、提升客单价和物流跟单追踪

D、帮小刘找到男朋友

20、大数据应用人才联盟大会由哪些单位联合举办？（ ）

A、CEAC

B、凤凰安徽

C、安徽华信智原

D、CCTV

三、 作文题

（共50分）

主题：大数据恐慌症

网络的广泛普及，宽带带宽的不断提高，基本实现全球一体化。地球上任何两个人都能通过网络进行连接。而人们在网络中产生的数据也组成了一个庞大的全球数据网络，根据这些数据进行分析，能够分析出全球人们的某一趋势，甚至能够分析出电脑那边的是一个人还是一只狗狗，这个人有什么特点，消费能力如何？收入如何等等。这就是大数据分析。

然而，只要你的信息被泄漏了，接踵而来的恐慌也将侵蚀着人们的生活。那么面对大数据带来的智能和便利，是该恐慌还是该拥抱？你有怎样的思考？

请根据“大数据恐慌”写一篇不少于800字的评论文章。

试卷到此就结束了，本次试卷考题（除作文外）的总分是100分，60分以上及格，60分以下的该去啃书了……

欢迎小伙伴在评论区贴上自己的答案，测测自己能考多少分？

大数据应用人才联盟大会

　　女生都喜欢帅哥，五官端正，家庭条件好，人要懂得疼人，懂得浪漫，就像小说里面说的一样，近乎完美!同样的是男生也都喜欢美女，但是这个并不只是容颜和身材上的美，在男生眼里，女生有那么几个瞬间是最吸引人的，例如电影里紫霞仙子的眨眼睛，简直是倾国倾城，真如仙子般!

　　这些都是电影中才能演绎出来的角色和经典，但是在现实生活中，女生也有那么几个瞬间是最美最吸引人的，下面就给各位MM说下，都是大数据测试出来的，单身汪心目中最真实的想法。

　　1. 在某个场合，突然愣神发呆的时候，那种迷离的眼神特别吸引人，呆萌可爱!

　　2. 一不小心睡着的时候，那时候的你比较放松，犹如小猫一般的睡美人!

　　3. 见到陌生人或者第一次约会的时候，害羞脸红，娇嫩的出水!

　　4. 当男生说我饿了的时候，你会马上去厨房做一碗面，想要抓住男人的心就要先抓住男人的胃!

　　5. 当男生偶尔邋遢懒猪的时候，你会毫不犹豫帮他打扫卫生，整理衣服的瞬间!

　　6. 发出银铃般笑声的时候，犹如树上黄鹂鸟，清新悦耳!

　　7. 需要的时候，你会从包里拿出纸巾，看你如救命恩人一般。

　　8. 陪他看球赛，即使自己不喜欢。

　　9. 主动迎合男生智商的时候(这句话有点悲伤)

　　这些数据都只是客观上的，事实只有自己知道，女朋友的美没有瞬间，是时刻都很美，不是吗？元旦都快到了，自己的女友送一份礼物吧！

如果你打开网站，搜索关键词“性能力提高”、“性能力改善”等关键词，会发现有价值的信息非常之少，大部分中国人对于性的关注比较隐晦，并不会将其仔细研究。根据2013年——2014年中国性爱报告显示，83%的国人认为性是生活中不可或缺的一部分，94%的男人认为有义务令伴侣满意，86%的男人认为岁月不饶人，力不从心在所难免，约75%的男人对自己的床上功力并不满意，41%的男人做爱时长不足10分钟，只有4%的男人会求助于医生来解决自己的性问题。

面对这个这个现状，吱呀创始人老鱼（花名）在这个细分领域找到了机会。他告诉猎云网：“这个领域是的市场是非常大的。”对于两性领域，大多数人不知道自己的水准在同龄人中到底如何？所以男性在这方面的认知是空白的，绝大多数人缺乏客观准确的测评方式；缺乏性能力的大数据作为参考；缺乏行之有效的自我提高方式去改善。

针对这些痛点，老鱼表示，吱呀项目针对这些痛点，提出了以下解决方案：

1、用户自我测试，可根据使用场景自行选择 “一分钟简测” 与“精准测试” ，通过独创多维度测评算法，看自我感觉的性能力和真实测评出的性能力是否有差距；

2、10分钟到底好还是坏？没人知道，也不知道在同龄人中是什么位置？放到大数据中对比一下，找到自己的水准线；

3、通过多个维度数据的异常标示和分析解读，给予有效的分析与改善建议， 并精准推荐专业的视频训练课程；

4、术业有专攻，除了综合提高身体素质，性能力的专项训练、局部训练事半功倍，时间短推荐延时课程、硬度差，就有硬度提升课程；

5、专业的两性知识文章来营造社区氛围。

值得一提的是，吱呀所采用的核心技术为团队自主研发测评技术，利用智能手机的各种传感器进行性爱数据采集。可以通过床的震动采集震动频率、时间、强度等数据。针对用户的个人隐私，吱呀利用技术手段，在进行测试的整个过程手机都是黑屏，不会被其他人发现。

据老鱼介绍，每一个用户完成“测试”，便会产生数据，当越来越多的人产生数据，后台的大数据库便可作为最权威的性能力数据。

吱呀通过测试性功能，对用户的数据进行解读分析，让每个用户知道自己所在范围，为用户提供专业的性功能短板专项课程训练。此外，吱呀还会为用户提供社交系统，用于增强用户粘性。

在商业模式上，吱呀除了吸引用户数据之外，还将配合训练课程开通性健康私教模式。据悉，吱呀的课程是其团队和专业教练合作，拍摄针对局部肌肉的训练课程。相关肌肉群的加强训练，是聘请北京体育大学的教练参与课程的专业开发及演示。老鱼介绍，未来可以针对性功能短板进行专项VIP课程付费训练；或是作为品牌厂商的精准投放渠道，还是作为优质的情趣用品电商销售平台，此时可以尝试用数据说话。

由于目标人群高度精准，势必会成为类似杜蕾斯、专科医院、各情趣用品的优质广告与合作渠道，初上线运营的过程中，已经有若干情趣类、小说媒体类希望投放广告；其次，通过与男性专科医疗合作，一方面进行引流，另一方面提高专业性咨询。

最后引进情趣智能硬件，在老鱼看来，目前市场上情趣智能硬件的效果泛善可陈，原因在于仅可采用蓝牙或者网络的数据同步及操作，这远远不够智能。吱呀将会根据用户的测试数据，结合情趣智能硬件达到调整改善其性爱阈值的目的。

老鱼说：“吱呀是完全创新没有可参考对象的APP，所以在初设目标上团队决定：初始阶段的重心放在打磨产品体验上，致力于是否真的满足需求、用户是否真的需要这些功能、是否真的有不可替代的价值。”

目前，吱呀已完成种子轮融资，正式启动天使轮融资。2017年12月，安卓版本顺利上线；18年3月底，IOS版正式上线。并且，增加了女性课程作为未来女性用户群体拓展的发展伏笔，同时增加社交元素功能，吸引了女性用户的加入参与，现安卓端共计18万用户。

未来，吱呀主要的任务是让产品更专业化、更精准化，引导用户多测多练，积累数据。下一步肯定是和专业的医疗团队合作，提升产品的专业性；可借助其他硬件设备，提升自主研发的测评系统精准性，优化利用智能硬件的各种传感器采集的性爱数据，更精准的通过床的震动采集震动频率、时间、强度等数据。

在团队方面，吱呀团队规模十人左右，创始人老鱼，29岁时即出版自传体小说，17年工作经验，擅长公司管理、战略和业务管控。2004年以前在思念集团任职总经办品牌经理；2006-2009年作为创始团队成员创业网站“栖息谷”社区。后任职副总裁助力APP定制国内一线公司快速发展，并在其过程中带队操刀了逾百个移动互联网创业项目，对于公司发展经营可完全掌控。

什么是大数据

大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

对于大数据的测试则需要不同的工具、技术、框架来进行处理。

大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。

需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

大数据测试策略

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。

当然在大数据测试时，功能测试和性能测试是同样很关键的。

对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

我们来看下大数据处理的三个特性：

大批量实时性可交互另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据应用测试步骤

下面我们一起看看大数据应用的测试过程是怎么样的。

整体而言，大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中我们要验证加载的数据和源数据是一致的我们要确保正确的提取和加载数据至hdfs中步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：Map Reduce过程工作正常数据聚合、分离规则已经实现数据key-value关系已正确生成验证经过map reduce后数据的准确性等特性步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。主要验证：

验证数据转换规则是否正确应用验证数据的完整性和是否成功持久化到目标系统验证无数据损坏架构测试

Hadoop处理海量数据是非常的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降，进而使得系统无法满足我们的需要，因此我们需要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。

性能测试是一个复杂的工作，它贯穿整个测试周期，需要关注内存、CPU、网络等等指标。

故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。

性能测试

大数据性能测试主要包含以下几个部分：

数据提取、存储效率在本阶段，我们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加 载效率。

二是验证数据持久化至mongodb等库的效率等等

数据处理在本阶段，我们验证map reduce任务的执行效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储至HDFS读写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等

子组件性能大数据处理，一般都会需要综合利用各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能

性能测试策略

大数据应用性能测试涉及海量的结构化和非结构化的数据，与我们平时所面对的业务系统有所不同，所以我们需要针对大数据应用制定特定的测试策略，以应对海量的数据。

根据上图性能测试执行过程一般是这样的：

在性能测试前需要先初始化大数据集群环境梳理和设计大数据性能测试场景准备大数据性能测试脚本执行并分析测试结果（如果指标异常，则调优相应的组件并重新测试）优化配置性能测试基础准备

在大数据性能测试时，需要准备相关的基础工作，如下：

数据准备，我们需要在不同的节点准备什么量级数据？日志预估，在测试过程中，可能会生成多大的日志，日志的可能增量是什么样的？并发，在测试时，可能会有多少线程并发读和写？超时设置，应对设置怎样的连接超时？查询超时？写超时等等？JVM参数，如何设置最优的jvm参数，heap size、GC机制等等Map Reduce，我们应该选择什么样的sort、merge等算法？消息队列，消息队列长度会怎么样？等等必备的测试环境

大数据测试不同于常规的应用测试，你应该具备以下一些基础环境：

拥有足够的存储设备来存储和处理大数据拥有集群来做分布式节点和数据处理至少拥有足够的cpu、内存来确保有高性能的处理基础大数据测试的挑战

对于从事大数据测试的软件测试工程师而言，与传统的测试工作相对比，我们可能面临的以下几个可能的挑战：

自动化自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具备处理测试过程所引发的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。虚拟化 当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能造成大数据实时测试处理的异常。对大数据而言，管理影像信息也将是一个巨大的问题。

海量数据集需要验证的数据量巨大，而且需要更快的处理速度需要有效的自动化测试手段需要尽可能的跨平台大数据性能测试的挑战

对于从是大数据性能测试，与传统性能测试相比较，我们要面临是样的挑战呢，可能有以下几个方面：

技术的多样化，复杂化，面对不同的大数据解决方案，我们可能需要掌握不同的技术和定制不同的测试解决方案无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着我们需要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题测试环境复杂化，因为海量的数据，我们所需要测试环境亦会更加复杂，所消耗的基础成本会更高监控解决方案，目前有的监控解决方案有限，但通过整合不同的监控工具，大致可能拥有一套相对可行的监控解决方案诊断方案，由于大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，我们需要根据实际情况来进行开发定制从上面几个方面来看，从事大数据性能测试所要面临的问题是相对复杂的，尤其对当下国内的测试工程师而言，要走的路还很长，很艰难。

小结

随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也必定成为未来的一个热门的职业方向大数据处理必须是批量的，实时的、可交互的大数据应用测试的三大阶段：数据验证Map Reduce 验证数据处理结果验证架构测试也是非常重要的一个测试类型，糟糕的架构可能直接导致您的大数据项目的失败性能测试三大节点：数据提取、存储效率数据处理效率子组件工作效率大数据测试不同于传统的测试，不仅仅是类型、策略的不同，工具等具体技术都会有区别大数据因其复杂性，其测试所面临的挑战也会不同于传统的测试大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一

注：本文参考的资料包括但不限于IBM、Microsoft、hadoop、spark、apache等等官方网站

概述

在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。

什么是BI？

BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或商业数据或业务数据等）进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

原始数据记录了企业日常事务，例如与客户交互的信息、财务信息，员工相关记录等等。

这些数据可以用于汇报、分析、挖掘、数据质量、交互、预测分析等等

什么是数据仓库

数据仓库是为查询和分析而不是事务处理而设计的数据库。

数据仓库是通过整合不同的异构数据源而构建起来的。

数据仓库的存在使得企业或组织能够将整合、分析数据工作与事务处理工作分离。

数据能够被转换、整合为更高质量的信息来满足企业级用户不同层次的需求。

什么是ETL

ETL是Extract-Transform-Load的缩写（提取-转换-载入），是一个完整的从源系统提取数据，进行转换处理，载入至数据仓库的过程。

我们从联机事务数据库中提取数据，进行转换处理，匹配数据仓库模式，然后载入至数据仓库数据库中。

在通常情况下，大多数的数据仓库要整合非联机事务数据库系统的数据，例如来源文本文件、日志、电子表格等等。

下面我们一起看看ETL是怎么工作的。

例如一个公司，有关于其不同部门的数据记录，销售、市场、物流等等。每个部门所处理的客户信息是独立的，而且存储的数据也是相对不同的，假如销售团队有存储客户的姓名，而物流团队存储的是用户 的ID。

现在我们想要去检查客户的历史数据，并且想要了解他/她在不同的营销活动中购买的不同产品是什么。这将是一项非常枯燥的工作。

该解决方案就是使用数据仓库应用统一的结构来存储经过ETL处理过的不同源的数据。

ETL能够转换不同结构/类型的数据集为统一的结构,以便后续使用BI工具生成有意义的分析和表报。

下面我们看一下ETL过程完整的流程图：

ETLProcess.png

Extract提取有效的数据Transform将提取的数据转换为数据仓库模式/格式构建keys：一个key是一个或多个数据属性的惟一标识实例，key的类型可以是主键(primary key)、外键(foreign key)、替代键(alternate key)、复合键(composite key)以及代理键(surrogate key)。这些key只允许数据仓库进行维护管理，且不允许其他任何实体进行分配。数据清理：在提取好数据后，则进入下一个节点：数据清理。对提取的数据中的错误进行标识和修复。解决不同数据集之间的不兼容的冲突问题，使数据一致性，以便数据集能用于目标数据仓库。通常，通过转换系统的处理，我们能创建一些元数据（meta data）来解决源数据的问题，并改进数据的质量。Load将转换后的数据载入数据仓库构建聚集：创建聚集对数据进行汇总并存储数据至表中，以改进终端用户的查询体验。什么是ETL测试

ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。

同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。

ETL是Extract-Transform-Load的缩写。

ETL测试过程

与其他测试过程类似，ETL也需要经历不同的测试阶段。其流程如下：

ETLTestingProcess.png

ETL测试过程主要分为以下五大阶段：

分析需求、业务和源数据获取数据实现业务逻辑和维度建模构建和填充数据生成报告

ETL测试类型

Production Validation Testing该类型的ETL测试是在数据迁移至生产系统时进行的。为了保证生产业务的正常运营，生产系统中的数据必须以正确的顺序进行排序。在该ETL测试类型中要注意从数据层面进行自动化测试和管理能力的植入。Source to Target Testing（Validation Testing）该类型的测试主要元组转换的数据是否满足预期的转换目标Application Upgrades(升级测试)该类型的ETL测试是可以自动生成的，能节省大量的测试开发时间。主要检查旧应用或存储库中提取的数据是否与新的应用或新的存储库中的数据完全相同。Metadata testing（元数据测试）元数据测试包括数据类型检查、数据长度和索引/约束检查。Data Completeness Testing（数据完整性测试）当把所有期望的数据从源加载到目标地时，就算完成了数据完整性测试。在数据完整性测试过程中，我们还可以进行一些简单的转换或无转换的源与目标之间的计数、聚合和实际数据比较和验证的测试。Data Accuracy Testing(数据准确性测试)该类型测试验证数据正确的完成加载和按预期目标进行转换。Data Transformation Testing(数据转换测试)测试数据转换是一个复杂的过程，并不是简单的写一个源SQL查询并与目标进行比较来实现的。可能需要为每个行运行多个SQL查询，来验证转换规则Data Quality Testing（数据质量测试）数据质量测试包含语法和基准测试。为了避免在业务过程中由于日期或唯一编号（例如订单号）引起的错误，进行数据质量测试。语法测试：根据无效字符、字符模式、不正确大小写、顺序等出具脏数据测试结果基准测试：基于数据模型检查数据，例如客户ID数据质量测试，包含：数字检查、日期检查、精度检查、数据检查、零校验等等Incremental ETL Testing（增量ETL测试）该类型测试主要验证旧数据和新数据的完整性，并添加新数据。增量测试验在增量ETL过程中，插入和更新是否满足预期的要求。GUI/Navigation Testing该类型测试主要检查生成的大数据报告的UI\导航方面是否正常

怎么创建ETL测试用例

ETL测试是一个可以应用于信息管理领域中不同工具和数据库的概念。

ETL测试的目的是确保在业务转换完成后从源加载到目的地的数据是正确无误的。

ETL测试同样还涉及在源和目的地之间转换时的各个阶段的数据的验证。

在从事ETL测试时，有两份文档是ELT测试人员实时使用的：

ETL映射表：一个ETL映射表包含源和目的地表的所有的信息，包括每个列及其引用表等约束关系。ETL测试人员需要更为优美的SQL查询语句，因为在ETL测试各阶段可能需要编写具有多个连接的大查询来验证数据。ETL映射表在为数据验证编写查询时提供大量的有用的信息。源、目标数据库模式：该模式应该便于验证映射表中的所有细节。

ETL测试场景和测试用例

序号测试场景测试用例1Mapping Doc Validation(映射文件验证)验证映射文件是否提供了响应的ETL信息，且每个映射文档的更新日志有记录2Validatioin（验证）1. 根据对应的映射文件验证源与目的地数据仓库的表结构2. 验证源和目标数据的类型一致3. 验证源和目标数据的长度一致4. 验证数据字段类型和格式是指定的类型5. 验证源的数据类型长度不应小于目标数据类型长度6. 针对映射表对数据表的列的名称进行验证3约束验证验证目标表中的约束关系满足我们的期望设计4数据一致性问题1. 要防止语义定义相同，但特定属性的数据类型和长度不一致的问题2. 防止完整性约束滥用5完整性问题1. 要确保所有期望的数据都已经完整的加载到目标表中2. 要比较源和目标数据的个数（即确保计数上的完整）3. 检查出现的任何不合格的记录4. 检查目标表列中的数据没出现被截断的情况5. 对边界值进行分析检查6. 要检查比较目标数据仓库和源数据的关键字段的唯一性6正确性问题1. 数据要没有拼写错误或不准确的记录2. 无null、非惟一或超出范围的数据记录存在7转换验证转换逻辑的正确性8数据质量1. 数值型验证，验证是否为数值类型2. 日期型验证，验证是否为日期格式，并且在所有日期类型数据的格式应该统一3. 精度验证，小数点的精度要满足期望的精度4. 数据检查：检查数据的正确性，完整性5. null检查9拷贝验证1. 验证目标表中业务要求所有惟一性指标均正确的实现（例如主键、惟一标识的键、或其他任一惟一表示的列）2. 验证从源数据多列合并而成的数据是正确的3. 验证仅仅根据客户要求对源数据进行了多列合并至目标表中10日期验证日期是ETL开发过程中常用的数据，主要用于：1. 了解数据行创建的日期2. 用于识别活动记录3. 根据业务需求透视表确定活动记录4. 便于基于时间插入、更新记录11数据完整性验证在验证源和目标表中的数据集的完整性时，我们需要用到交集运算，以确定目标数据的完整性12数据清理对于不需要的列在载入至数据仓库前应该进行删除

ETL的bug类型

序号bug类型描述说明1用户接口bug1. 主要涉及应用的GUI2.字体、样式、颜色、对齐、拼写错误、导航等等2边界值bug数据的边界值范围3等价类划分bug有效和无效类4输出/输出bug1.未接受的有效值2. 无效的值被接受5计算类bug1. 数学计算错误2. 最终输出错误6载入条件bug1. 不运行多用户操作2. 不运行用户载入期望的数据7崩溃bug1. 系统宕机或挂起2. 系统无法运行在用户的平台上8版本控制bug1. 无匹配标识2. 没有可用的版本信息3. 一般版本控制bug发生在回归测试时9硬件问题一般发生在应用程序不兼容设备10文档错误bug错误的帮助文档信息

ETL测试与数据库测试的不同

序号ETL测试数据库测试1验证数据是否按照预期进行了移动主要验证数据是否遵循了设计预定的数据模式规则或标准2验证数据经过业务转换后是否满足预定的转换逻辑以及验证源和目标数据计算是否一致主要表的主、外键等越苏是否正常3验证ETL过程数据表的主外键关系是否保存验证没有冗余表，数据库最佳化4验证已载入的数据拷贝是否满足预期验证需要的是否缺少数据

ETL测试工程师的主要责任

对于一个ETL测试工程师而言，其关键的责任有三大类：

源数据分析（数据库、文本等类型数据分析）业务转换逻辑实现将经过转换的数据载入至目标表其他有：

掌握ETL测试软件ETL数据仓库测试组件在后端执行数据驱动测试创建、设计、执行测试用例、计划等标识问题、提供问题解决方案梳理业务需求和设计测试策略写SQL或数据库操作代码完成实现各种测试场景等等其他工作内容

开源优测

分享软件测试开源技术、经验、方案的首发平台