来源：人民网－人民日报

贵阳市实验小学四年级（4）班正在上人工智能与大数据课。

本报记者 程 焕摄

10月底，在秋季学期将近过半之时，贵阳全市550所小学的四年级学生收到了一册新出版的《人工智能与大数据》读本，接下来的半个学期，孩子们将围绕这册读本，开启一段走近前沿科技的学习之旅。

从去年开始，贵阳市教育局、大数据发展管理委员会共同实施中小学《人工智能与大数据》读本编纂计划，并于今年9月正式出版发行，计划在全市小学四年级、初中二年级、高中二年级开设人工智能与大数据课程。

结合生活应用和本地案例，引导学生走近前沿科技

11月1日上午10点15分，随着一段音乐响起，贵阳市实验小学进入第三节课时间。四年级（4）班的45名同学整齐端坐，等待接下来的班会课。然而，走上讲台的却不是班主任，而是信息课老师何莉娜。从今天开始，孩子们的课堂上又多了门人工智能与大数据的新课程。

“如果让你去一个陌生地方，用什么办法能最快到达？”“当然是用手机地图导航！”课堂上，何莉娜结合漫画故事，引导学生互动讨论。“那手机地图为什么会这么聪明呢？”此问一出，活跃的课堂突然沉寂下来，孩子们把目光投向读本，但书里并没有现成的答案。随后，班里还是传出了几句轻声嘀咕：“是不是卫星在帮忙？”“应该有人在后台指挥”……

“同学们，我们经常看到马路上有许多摄像头，其实它们就是在捕捉道路通行信息，大数据把所有摄像头采集的信息汇总起来，就能计算出道路上的车流量……”何莉娜列举生活中的应用案例，引导学生加深对大数据的认识。

课堂上，一双双小手争相举起，大部分学生都发表了自己的观点。“有些内容我也不了解，但书上的漫画和文字很有意思，总能给我一些启发，原来大数据就在我们身边。”虽然坐在靠后位置，邓松林仍然多次抢到发言机会，表现得格外积极。“我一直不明白机器人怎么会写诗，看完读本才明白，原来是人工智能让它们变聪明的。”下课后，孩子们三三两两围在一起继续讨论。外表文静的钱雨樱是个“小机器人迷”，看到书里提到天河潭景区有一位导游机器人，准备让父母周末带自己去体验一下，好为她的机器人编程活动寻找灵感。

鼓励多元授课方式，希望培养孩子的创新意识

翻开小学版《人工智能与大数据》读本，每一节都是从生动的漫画故事开始，引出一个个学习主题，正文部分还穿插卡通配图和实景照片，帮助孩子们提高阅读兴趣和理解能力。针对不同阶段学生的兴趣特点和认知水平，《人工智能与大数据》读本共推出小学、初中、高中3个版本，内容编排与呈现形式各有侧重。

事实上，这套读本从立项到组织编写，再到出版发行，最后进入学校课堂，总共只用了1年多的时间，“贵阳正在奋力打造以大数据为引领的创新型中心城市，对高素质人才与市民创新意识提出了迫切需求，作为打基础的中小学教育更不能拖后腿。”贵阳市教育局基础教育处处长马开宏说。

为了让读本符合本地实际情况，除依托专家团队提供技术支持外，贵阳教育部门与一线教师组成专项小组，共同参与读本编纂工作。专项小组花费半年时间，实地调研省内相关企业和科研基地，为读本物色了“中国天眼”等大量典型的本地案例。

“前些年平塘县发过两次规模相近的洪水，但受损情况差别悬殊，调研之后我才知道，原来是大数据在化险为夷，这个案例后来被选进了读本。”拥有15年小学信息技术教学经验的何莉娜，也是专项小组的成员之一。她坦言，一线老师亲身参与读本编写全过程，相当于带头对课程内容进行了一次体验学习，能使读本更符合学生的认知心理与兴趣特征。

按照贵阳市教育局9月补充制定的课程计划，人工智能与大数据课程在本学期率先进入小学课堂。马开宏介绍，这门课程充分鼓励学校创新授课方式，在保证完成20个课时的情况下，允许学校结合实际自主安排教学活动。

陌生学科进课堂，师资、实践环节等仍是挑战

孩子们在课堂上热烈讨论，教室最后，8位班主任也在边听课边做笔记。

“压力不小，这对我来说也是门陌生的学科。”贵阳市实验小学四年级（4）班班主任沈希希是一名资深的语文教师，领到读本后立马着手备课。读本对理论要求并不高，最难部分当属实践环节。“靠自己很难搞定，只能分解到学校的编程、机器人、3D打印等社团活动中去。”沈希希说，好在贵阳大数据产业聚集，找业内人士当“外援”也不是难事。

“师资是最大的短板，全校都没有相关领域专业背景的教师，只好自己先行先试。”李守志是贵阳一中的计算机老师，他从去年开始，在学校搭建了一个人工智能实验室，带领学生尝试过机器人组装、人脸识别等项目。考虑到下学期要给高二年级开设新课程，他把之前实验的案例进行了整理完善，为新课程的实践环节做好准备。

此外，李守志还把读本内容穿插进这学期的信息技术课，引导学生寻找解决实际问题的方法。“比如设计一个停车场车牌识别场景，让同学们自主思考如何采集和处理数据，而不是单纯的理论灌输。”李守志说，如今课堂氛围明显活跃起来，这让他对这门新课程有了些底气。

为了“迎接”读本进课堂，10月18日至19日，贵阳市教育科学研究所邀请编写团队主创人员，为全市近千名中小学教师开展了一次专题培训。“尽管师资、课时都面临困难，但这不能成为实施人工智能与大数据教育的障碍。”贵阳市教科所副所长赵兵表示，贵阳需要在具体教学实践中，逐步探索解决谁来教、怎么教、教什么的问题。

“目前的读本是试用版，我们还将根据师生的反馈意见，及时对读本进行修改和完善。”马开宏说，读本进课堂先期试行3年，根据实际教学效果评估是否在中小学各年级和各学段全面推行。

《 人民日报 》（ 2018年11月15日 12 版）

ETL是什么呢？

ETL 指的是这提取、转换和加载这一过程：原始数据就是提取，通过清理手段，把数据中的东西转变为能够使用的其他形式，同时加载到合适的库中供系统运用。 ETL 来源于自数据库，这个过程在获取数据的时候也是被运用。

企业级应用就是一个软件行业内部使用的话术，用通俗易懂的话来说，就是一个企业范围内运用的、保持计算机的稳定，安全的，高效的分布式信息管理系统。

探索性分析：前提是没有标准的流程的情况下，从数据中发掘模式，其实就是一种发掘数据和数据集主要特性的一种方法，E字节：大约估计等于1000 PB, 约等于1百万 GB。

现间断全球每天所制造的新信息量大约为1 EB。提取-转换-加载这一过程是一种用于数据库的处理过程。各种不同的数据来源提取数据，转换才能够满足业务需求的数据，最后加载到数据库。企业生产力:指的是企业在一定期限为社会提供某种产品。

模糊逻辑：例如 100% 正确?人类的大脑将数据整合成部分的事实，这些所谓的事实进一步被抽象为能够决定我们决策的值。模糊逻辑这样的计算方式，很像布尔代数中的「0」和「1」相反。

故障切换 ：运行系统中某个服务器发生故障时，能够自动将运行任务切换到另一个可用的服务器上面。

架构:又称之为软件架构，是有关软件整体结构和组件的抽象描述，运用于指导大型软件系统各个方面的设计。

流量监控指的是对数据流进行监控，基本包括出数据、入数据的速度、总流量。

容错设计：是一个支持容错设计的系统能够做到当某一部分出现故障时也能照常继续运行。

金融：人在不确定环境中进行资源的最优配置决策动作。

游戏化：其他非游戏领域中运用游戏的思维和机制，这种方式进行数据的创建和侦测，非常有效。

图形数据库 ：运用图形来存储数据，这种图形存储结构包含边缘、属性和节点。提供了相邻节点间的自由索引功能，其实是数据库中每个元素间都与其他相邻元素直接关联。

网格计算：分布在很多不同地点的计算机连接在一起，处理某个特定问题，通常是通过云将计算机相连在一块。

Hadoop 用户体验 ：Hue 是能够让使用 Apache Hadoop 很容易的开源接口。是一款基于 web 的应用;也是一款分布式文件系统的文件浏览器;用于 MapReduce 的任务设计;也能够调度工作流的框架 Oozie;本身它具备 shell、Impala、 Hive UI 和一组 Hadoop API。

人力资本：指的是劳动者受到教育、培训、实践经验等方面的投资而所获得的知识或者技能的积累。

硬件设施:是计算机系统中由电子，机械和光电元件等组成的各种物理装置的总称。

高性能分析应用：这是 SAP 公司为大数据传输和分析设计的一个软硬件内存平台。

HBase: 是分布式面向列的数据库。在使用 HDFS时候是作为其底层存储，不仅支持利用 MapReduce 进行的批量计算，也能够支持利用事物交互的批量计算。

Hadoop 是一个开源的分布式系统基础框架，可用于开发分布式程序，进行大数据的运算与存储。

Hadoop数据库：它是开源、非关系型、分布式数据库，和Hadoop框架一同使用。

分布式文件系统：是被设计成适合运行在通用硬件上的分布式文件系统。

高性能计算 ：在使用超级计算机来解决极其复杂的计算问题。

部署在云上的Hadoop：云解决方案是完全基于某个特定服务，该服务会加载并处理相应数据。比如借助 IBM Bluemix，可以基于 IBM InfoSphere BigInsights 配置一个 MapReduce 服务，该服务可以处理高达 20GB 的信息。但 Hadoop 服务的大小、配置与复杂性是不可配置的。

当下，互联网技术与可再生能源革命正在开启新一轮工业革命的大幕，人类已经站在新时代的门槛上。

随着物联网（IOT）技术的飞速发展，对传统企业，能否抓住这一历史机遇，依靠技术进步，改善和产业素质与提高生产效率，对企业进行智能化、工业化相结合的改进升级，从传统的厂发展为高技术企业。借助互联网+物联网等技术， 坚持“创新驱动、质量为先、绿色发展、结构优化、人才为本”的基本方针，实现“中国制造2025”伟大目标。

在工业领域中，以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备过程数据。第三类是外部数据。

上述三种数据中，最难获取的是第二类数据，是产业升级中实现过程自动化、机械制造自动化、管理自动化的关键数据来源依据。

工业大数据平台由后台服务器、WEB服务器、手机APP、数据库、后台监控软件、前端展示框架、现场采集控制主机、工业微电脑控制器、物联网模块、无线网关、4G传输设备、传感模块等组成。

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

从底层逐步往上，如图所示表示这么几个环节：

一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。

二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。

三、数据存储：指的就是数据仓库的建设了，简单来说可以分为业务数据层（DW）、指标层、维度层、汇总层（DWA）。

四、数据共享层：表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API ，代表的是一种数据间的连接方式，还有一些其他连接方式，可以按照自己的情况来确定。

五、数据分析层：分析函数就相对比较容易理解了，就是各种数学函数，比如K均值分析、聚类、RMF模型等等。

列存储让磁盘中的各个Page仅存储单列的值，并非整行的值。这样压缩算法会更加高效。进一步说，这样能够减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常大的算力才能解决的问题分成很多小部分，接着把这些部分给到许多计算机同时处理，然后把这些计算结果综合起来，得到最终的结果。

综合这两种技术，就能够大幅度提高分析环节的效率。Yonghong MPP可以说是目前在这两方面做的最出色的了。

六、数据展现：结果以什么样的形式呈现，其实就是数据可视化。这里建议用敏捷BI，和传统BI不同的是，它能通过简单的拖拽就生成报表，学习成本较低。国内的敏捷BI中，个人用户推荐Tableau，像银行这类的企业级需求推荐Yonghong BI 。

七、数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。

二、银行数据分析体系如何搭建？

搭建一个数据平台可能是项目制的工作，在一段时间内会完成，但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时，将金融行业同类的数据应用经验也分享给你，帮助你去搭建数据分析体系，那就是真正的“良药”了。

下面分享一个YonghongTech帮助某大型银行数据服务平台建设的案例。

以客户在银行办理业务的行为路径，可以有这样几个主题，不同主题有对应的场景及其指标。

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

三、案例

鉴于篇幅问题，此处可以参考这篇文章：

华夏银行：大数据技术服务业务需求，实现销售高速增长

http://.baidu/builder/preview/s?id=1600613969915764917

大数据是理念、技术和资源，为地质调查工作带来新技术、新模式与新动力。大数据为地质调查工作的发展和变革带来新技术、新模式与新动力，支撑引领地质调查全过程的数字化、网络化和智能化，推动野外调查的智能化、地质研究的综合化、业务管理的高效化、信息服务的网络化，全面推进地质调查工作的现代化。

地质工作就是采用各种探测与综合研究手段，研究地球（重点是地球表层）的物质组成、结构及演化。工作手段包括野外调查、钻探（槽探等）、物探、化探、遥感、分析测试、综合研究等，工作平台涉及航空、航天、地表（下）、海洋等，工作过程包括数据采集、处理和成果数据综合等，研究成果来自对已有数据和新探测数据的分析利用。

从地球系统科学的角度来看，整个地球的物质组成和地质过程都是息息相关的，是一个不可分割的整体。通过对尽可能多的地质大数据的收集和分析挖掘，就可以获得对地球更全面、更深入的认识。而且，对于某一区域或某一地质问题，也一定程度上具有“小系统”的特点。只要纵向上有一定的时间积累，横向上有较丰富的记录细节，通过多个来源对同一个地质现象采集的各种数据的有机整合和综合分析，尤其是“全数据”的应用，就可能产生新的有价值的认识。

基于大数据研究个体或群体行为特征，发现活动中蕴含的行为和交互模式，进而支持个体或群体行为决策。通过地质相关人员的行为数据的大量积累，就可以分析与地质工作相关的人的行为特征，如对热点地质数据与信息产品的分析。

地质大数据从内容上看，不仅包括地球探测的数据，也依附了社会经济发展的相关数据；从形式上看，地质大数据涉及空间地图数据（如地质图）、图像数据（如遥感数据、野外观测点照片）、文本数据（如地质调查报告、地质文献）、动态实时数据（如水土地球化学监测数据、地质灾害监测数据）、视频数据（如野外观测点录制视频、监测视频）等诸多类型，是国家大数据的重要组成，除了具有大数据共有特性外，具有以下典型特性：

1）多源异构。涉及多手段、多平台、多仪器、多单位采集、处理与管理，数据模态、数据描述方式及结构、数据源等多样。

2）高度时空相关性。地质数据都有特定空间位置和时间点。描述的坐标系、投影参数、探测精度及基本粒度变化多样；时间尺度从分秒跨越至数百万年；并呈现出显著的二维、三维、四维、属性维等多维特征。

3）大容量高相关、低价值密度。观测对象广阔、手段多样、探测历史悠久形成巨量数据；数据描述的对象相对稳定，数据相关性高。探测数据多需要进行解译处理后才能深入应用，原始采集数据的价值密度低。

4）复杂性与模糊不确定性。数据是客观的、量化的，但是对观测对象的认识是无穷尽的逼近。描述客观对象的数据复杂，大多具有模糊不确定性。

5）多主题。涉及区域地质、地质矿产、地质环境、地质灾害、地下水等多专业数据，可以服务能源资源保障、地质灾害防治、地下空间综合开发、重大工程实施、海洋经济发展等各个方面。

近两年来，中国地质调查局启动了地质云建设，2017年地质云1.0已经正式上线运行，为地质调查工作中大数据的应用提供重要平台支撑和保障，更好的推动地质大数据发展，正逐步发挥大数据的综合效益。

要了解什么是Hadoop，我们必须首先深入了解与大数据和传统系统处理相关的问题。在这篇文章中，我们要讨论一下：

· 传统方法的问题

· Hadoop的演变技术发展很多， 我们可以使用大数据作为机会。早些时候，我们在储存上花了太多时间。直到大数据出现，我们从来没有想过使用商品硬件来存储和管理与昂贵的服务器相比是可靠和可行的数据。但是后来，企业意识到，他们通过大数据分析获得了很多好处，如下图所示。

图：什么是Hadoop - 大数据分析的好处

所以，让我们进一步了解传统方法与大数据机会相融合的问题。

传统方法的问题

在传统方法中，主要问题是处理数据异构性，即结构化，半结构化和非结构化。RDBMS主要侧重于结构化数据，如银行交易，运营数据等，Hadoop专门从事半结构化，非结构化数据，如文本，视频，音频，Facebook职位，日志等。RDBMS技术是经过验证的，高度一致的成熟系统得到许多公司的支持。而另一方面，Hadoop系统技术由于大数据（大部分由不同格式的非结构化数据组成）而被开发并且是需求的。现在让我们了解与Big Data相关的主要问题是什么。所以，向前推进，我们可以了解Hadoop如何出现作为一个解决方案。

图：什么是Hadoop - 大数据问题

所以，第一个问题是存储大量的数据。将这个巨大的数据存储在传统的系统中是不可能的。原因很明显，存储将被限制在一个系统中，数据的增长速度非常快。

第二个问题是存储异构数据。现在我们知道存储是一个问题，但是让我告诉你这只是问题的一部分。由于我们讨论过的数据不仅是巨大的，而且它以各种格式存在，如：非结构化，半结构化和结构化。所以，您需要确保您有一个系统来存储从不同来源生成的这些数据。

现在，我们来关注第三个问题，即访问和处理速度。硬盘容量不断增加，但磁盘传输速度或访问速度不以相似的速度增加。让我以一个例子来解释一下：如果你只有一个100mbps的I / O通道，并且正在处理1TB的数据，那么它将需要大约2.91小时。现在，如果您有四台机器具有四个I / O通道，数据量相同，则大约需要43分钟。因此，对于我来说，访问和处理速度是比大数据存储更大的问题。

在了解Hadoop之前，先看一下Hadoop在一段时间内的演变。

学习与专家的HADOOP

Hadoop的演变

后来在2008年1月，雅虎发布了Hadoop作为Apache软件基金会的开源项目。2008年7月，Apache测试了一个拥有Hadoop的4000节点集群。在2009年，Hadoop在不到17小时内成功地排列了数百亿的数据，处理数十亿次的搜索和索引数百万个网页。在2011年12月推出的Apache Hadoop发布了1.0版本。稍后于2013年8月，版本2.0.6可用。

当我们讨论这些问题时，我们看到一个分布式系统可以是一个解决方案，Hadoop也是一样的。现在，让我们了解什么是Hadoop。

什么是Hadoop？

Hadoop是一个框架，允许您首先在分布式环境中存储大数据，以便您可以并行处理它。 Hadoop基本上有两个组件：

图：什么是Hadoop - Hadoop Framework

第一个是用于存储的HDFS（Hadoop分布式文件系统），允许您在集群中存储各种格式的数据。第二个是YARN，它只不过是一个Hadoop的处理单元。它允许并行处理数据，即存储在HDFS中。

请加大数据学习交流8群640193172，了解更多大数据相关知识点，共同讨论

关注我的人都成为了月薪5w以上的技术大牛

如果你的hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。

项目一：数据整合

称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步;有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。

销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么(Hive模式不会看起来与你在企业数据仓库中所做的不一样)。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython笔记本作为前端。

项目二：专业分析

许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集(大部分是因为软件厂商不可能像专业机构那样了解的那么多)。

在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源(如果不是唯一的)。他们越来越多地以Spark为基础。

项目三：Hadoop作为一种服务

在“专业分析”项目的任何大型组织(讽刺的是，一个或两个“数据整理”项目)他们会不可避免地开始感觉“快乐”(即，疼痛)管理几个不同配置的Hadoop集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因(内部政治和工作保护)不能或不会。这通常意味着很多Docker容器包。

我没有使用它，但最近Bluedata(蓝色数据国际中心)似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署Hadoop作为一种服务。

项目四：流分析

很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束?同样的库存管理或其他任何。

在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。

项目五：复杂事件处理

在这里，我们谈论的是亚秒级的实时事件处理。虽然还没有足够快的超低延迟(皮秒或纳秒)的应用，如高端的交易系统，你可以期待毫秒响应时间。例子包括对事物或事件的互联网电信运营商处理的呼叫数据记录的实时评价。有时，你会看到这样的系统使用Spark和HBase——但他们一般落在他们的脸上，必须转换成Storm，这是基于由LMAX交易所开发的干扰模式。

在过去，这样的系统已经基于定制的消息或高性能，从货架上，客户端-服务器消息产品-但今天的数据量太多了。我还没有使用它，但Apex项目看起来很有前途，声称要比Storm快。

项目六：ETL流

有时你想捕捉流数据并把它们存储起来。这些项目通常与1号或2号重合，但增加了各自的范围和特点。(有些人认为他们是4号或5号，但他们实际上是在向磁盘倾倒和分析数据。)，这些几乎都是Kafka和Storm项目。Spark也使用，但没有理由，因为你不需要在内存分析。

项目七：更换或增加SAS

SAS是精细，是好的但SAS也很贵，我们不需要为你的数据科学家和分析师买存储你就可以“玩”数据。此外，除SAS可以做或产生漂亮的图形分析外，你还可以做一些不同的事情。这是你的“数据湖”。这里是IPython笔记本(现在)和Zeppelin(以后)。我们用SAS存储结果。

当我每天看到其他不同类型的Hadoop，Spark，或Storm项目，这些都是正常的。如果你使用Hadoop，你可能了解它们。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。

如果你是一个老前辈太害怕“大”或“做”大数据Hadoop，不要担心。事情越变越多，但本质保持不变。你会发现很多相似之处的东西你用来部署和时髦的技术都是围绕Hadooposphere旋转的。

好程序员特训营，致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程12月18日开班在即，现报名免费试学30天，学费优惠5000元。

1.前言

为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑：数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上，无异于削足适履，不仅增加了大数据应用开发的难度和复杂度，又无法发释放新框架的潜能。

该如何构建基于NoSQL的数据模型?现在能供参考的公开知识积累要么是空虚简单的一句“去规范化“或粗暴的宽表化(将query和应用需要访问的所有字段“排排坐“，放在一个有很多列的结构化表中)，要么是针对具体工具或具体场景的实现细节，(如《HBase权威指南》中对于如何设计HBase主键的探讨)。没有一个像编程的设计模式一样的，在模型架构层面可以遵循的方法论。

在比较不同的NoSQL数据库时，通常使用功能以外其他各种指标，如可扩展性、性能和一致性。由于这些指标通常是使用NoSQL的初衷，所以无论从理论的角度还是实践的角度被深入地研究了，而像CAP定理这样的分布式系统基础结论也同样适用于NoSQL系统。另一方面，在NoSQL的数据模型领域，却还没有很好地研究过，也缺乏关系数据库中那种系统性的理论。

我在这篇文章中从数据建模的角度对NoSQL家族系统做了比较简单的比较，并简要介绍几种常见建模技术。

2.NoSQL数据模型视图

要探索数据建模技术，必须先从系统性的NoSQL数据模型视图着手，这多多少少能帮助我们揭示其发展趋势以及相互之间的关系。下图描绘了主要NoSQL家族系统的虚拟“进化”过程，即键值存储，BigTable类型的数据库，文档数据库，全文搜索引擎，数据库和图形数据库：

首先，我们应该注意到，一般意义上讲，SQL和关系型模型都是在很久以前就被设计出来，目的是为最终用户交互之用。这种面向用户的性质有极深的影响：

最终用户往往对汇总报表信息感兴趣而不是单独的数据项，因而SQL这方面做了大量的工作。

不能指望作为自然人的用户能显式地控制并发性、完整性、一致性或者数据类型有效性。这就是为什么SQL竭力关注于事务保证、schema和参照完整性。

另一方面，软件应用程序往往对在数据库内部做聚合没有太大的兴趣，而且至少在许多情况下，程序能够自己控制完整性和有效性。除此之外，剔除这些功能对于性能和可扩展性存储的影响极其重要。

新数据模型的演变开始了：

键-值存储是一个非常简单，但非常强大的模型。下面所描述的许多技术都完全适用于这个模型。

键值模型最致命的缺点之一就是不适合按范围处理主键的场景。有序的键-值模型突破了这一限制，并显著提高了聚合能力。

有序的键-值模型非常强大，但它不提供任何针对值(value)的建模框架。在一般情况下，值的建模可以由应用程序完成，但BigTable风格的数据库想得更加周到，它可以将值按照映射的映射的映射(map-of-maps-of-maps)进行建模，说得明确点，分别是列簇(column family)、列(column)和时间戳化的版本。

文档数据库对BigTable模式提出两个明显的改善。第一，值可以被声明为任意复杂的schema，而不仅仅是一个映射的映射(map-of-maps)。第二，至少有一些产品实现了被数据库管理的索引。就这个意义上来讲，全文搜索引擎也可以同样被认为提供了灵活的schema和自动化的索引。他们之间主要区别在于，文档数据库是根据字段名对索引进行编组，而搜索引擎是使用字段值对索引编组。值得注意的是像Oracle Coherence这样的键-值存储系统增加了索引和内嵌入口处理器的功能，正逐步向文件数据库演进。

最后，图形数据模型可以被视为有序的键-值模型朝另外一个方向的进化。图形数据库允许对业务实体进行非常透明的建模(这个东西取决于那个东西)，而分层建模技术在这方面用的是另外的数据模型，但也可与之媲美。图形数据库和文件数据库息息相关，因为许多实现允许建模的值是映射或者文档。

3.NoSQL数据建模的一般注意事项

与关系型建模不同，NoSQL数据建模往往是从特定查询的应用开始：

关系型建模是典型地被手上可用数据的结构所驱动。设计主要围绕着的是“我有什么样的答案?”

NoSQL数据建模通常由特定应用的访问模式所驱动，比如需要支持的查询类型。设计主要围绕着的是“我有什么问题?”

NoSQL数据建模往往比关系数据库建模需要更加深入地了解数据结构和算法。在这篇文章中，我介绍了几个著名的数据结构，他们虽然非NoSQL所特有，但对于实际的NoSQL建模非常有用。

数据复制和去规范化是一等公民。

关系数据库在对分层或图形数据进行建模和处理时不是很方便。图形数据库显然是这个领域的完美解决方案，但实际上大多数的NoSQL也都非常善于解决这样的问题。这就是为什么这篇文章为分层数据建模单独写了一个章节。

虽然数据建模技术基本上和具体实现无关，但我还是列出了在写这篇文章时我能想到的产品：

键值存储：Oracle Coherence，Redis，Kyoto Cabinet

BigTable风格的数据库： Apache HBase，Apache Cassandra

文档数据库： MongoDB，CouchDB

全文搜索引擎： Apache Lucene，Apache Solr

图形数据库：Neo4j，FlockDB

4.概念技术

本节专门介绍NoSQL数据建模的基本原则。

1、 去规范化(Denormalization)

可以将去规范化定义为把相同的数据复制到多个文档或数据表中，这样可以简化/优化查询处理，或者让用户数据能匹配一个特定的数据模型。在本文的大多数技术用到了这样或那样的去规范化。

一般来说，去规范化用于以下的折衷：

查询的数据量或每次查询IO**与总数据量的折衷。去规范化可以将一个查询所需的所有数据组合起来存放到同一个地方。这通常意味着对相同数据的不同的查询会访问不同的数据组合。因此，数据需要被复制多份，也就意味着增加了总数据量。

处理复杂性与总数据量的折衷。建模时的规范化和相应查询的连接(join)明显增加了查询处理器的复杂度，在分布式系统中尤为明显。去规范化允许将数据按照查询友好的方式存储，从而简化查询的处理。

适用性：键值存储，文档数据库， BigTable风格的数据库

2、 聚合(Aggregates)

所有主流NoSQL都提供了这样或那样的松散schema(soft schema)支持：

键值存储和图形数据库通常不对值进行约束，所以值可能是任意格式。另外，也可以通过使用组合键将一个业务实体表示为多条记录。例如，可以将一个用户帐户建模为UserID_name，UserID_email，UserID_messages等组合键表示的一个实体集合。如果用户没有电子邮件或消息，然后相应的实体不会被记录。

BigTable模式也支持松散schema，因为一个列簇是可变的列集合，一个单元格又能存储不定数目的数据版本。

文档数据库天生就没schema，虽然某些文档数据库允许在数据输入时使用用户定义的schema进行验证。

松散schema允许使用复杂的内部结构(嵌套实体)构造实体的类，也允许改变特定实体的结构。这个更能带来了两个重要的便利：

通过嵌套的实体，最小化了一对多的关系，也因此减少了连接(join)。

异构业务实体的模型可以使用一个文档集合或者一个数据表。松散schema掩藏了这种建模和业务实体之间“技术”上的差异。

我们用下面的图来说明这些便利。该图描绘了对电子商务领域中一个产品实体进行的建模。首先我们可以认为所有的产品都有一个ID、价格(Price)和描述(Description)。进一步来看，我们发现不同类型的产品有不同的属性，如图书包含作者信息，而牛仔裤有长度属性。这些属性中间的某些属性天生就有一对多或这多对多的特性，比如音乐唱片中的曲目。

更进一步来看，可能有些实体不可能使用固定的类型进行建模。例如，不同品牌的牛仔裤的属性是不固定的，而每个制造商出产的牛仔裤的属性也是不一致的。在规范化的关系型数据模型中虽然这些问题都可以解决，但方法很猥琐。松散schema软架构允许只使用一个聚合(Aggregation)(产品)就能对所有类型的产品及其属性进行建模：

内嵌的去规范化会在性能和一致性上对更新操作造成很大的影响，所以要特别注意更新过程。

适用性：键值存储，文档数据库， BigTable的风格数据库

3、 应用端连接(Application Side Joins)

很少有NoSQL解决方案支持连接。NoSQL“问题导向”性质的后果就是，通常在设计时处理join，而关系型模型是在执行查询时处理join。查询时处理join几乎肯定会带来性能上的损失，但在许多情况下，可使用去规范化和聚合，即嵌入嵌套实体来避免join。当然，join在许多情况下是不可避免的，而且应该由应用程序处理。主要的用例：

多对多关系往往是通过链接(link)建模的，这需要join。

聚合操作往往不适合内部实体会被频繁修改的场景。通常更好的办法是将发生的事情作为一条新的记录保留，并在查询的时候将所有记录做join，而不是去更改值。例如，对于一个信息系统而言，可以用嵌套包含了Message实体的User实体来建模。但是，如果会经常地添加消息，更好的办法可能是把Message提取出来作为独立实体，并在查询时再将其与User进行连接：

适用性：键值存储，文档数据库， BigTable风格数据库，图形数据库

5.一般建模技术

在本节中，我们将讨论适用于各种NoSQL实现的一般建模技术。

1、 原子聚合(Atomic Aggregates)

许多NoSQL解决方案提供了有限的事务支持，虽然有些NoSQL不支持。在某些情况下，人们还可以使用分布式锁或应用程序管理的MVCC机制实现事务行为，但常见的是使用聚合技术来对数据建模，以保证一些ACID特性。

强大的事务处理机制对于关系型数据库而言是不可或缺的，其中原因之一就是规范化的数据通常需要在多个地方进行更新。另一方面，聚合允许一个单个业务实体存储为一个文件，行或键值对，从而可以对其进行原子性的更新：

当然，做为一种数据建模技术，原子聚合并不是一个完善的事务型解决方案，但如果存储能提供原子性、锁或者TAS(test-and-set，测试并设置)指令上的一些担保，那原子聚合就是可行的。

(译者注：即将需要事务性操作的业务数据聚合放在一起，存储在一个NoQSQL提供或者应用能提供原子性操作的数据结构中。使用HBase时，将某个用户某个业务的所有数据，如上图，用一行存储就是这种模式的应用。)

适用性：键值存储，文档数据库， BigTable风格数据库

2、 可枚举主键(Enumerable Keys)

也许无序键-值数据模型最大的好处就是可以通过将主键哈希的办法把实体数据分别存储在多个服务器上。排序使事情变得更加复杂，但是即使存储不提供这样的功能，有时应用程序也能利用到有序主键的优势。让我们将对电子邮件建模作为一个例子：

某些NoSQL存储提供原子计数器，能生成一个顺序化的ID。在这种情况下，可以使用userID_messageID作为一个复合键来存储消息。如果最新的消息ID是已知的，那就可以遍历以前的消息。另外，对于任何一个给定的消息ID，也可以向前或向后进行遍历。

也可以将消息分桶(bucket)，例如，每天的数据放到一个桶里。这样就允许从任何指定日期或当前日期开始，向前或向后遍历一个邮箱。

适用性：键值存储

(译者注：能利用主键的一些自然或业务维度的特征，将随机读写转换为顺序读写能提高遍历性能，同时能方便应用逻辑编写。但需要注意对分布式部署时并发写的影响以及对于业务的过度耦合。对于无序主键和有序主键的讨论可以参见《HBase权威指南》中Schema设计章节。)

3、 降维(Dimensionality Reduction)

降维这种技术允许将一个多维数据模型映射到一个键-值模型或其他非多维模型。

传统的地理信息系统使用四叉树(Quadtree)或R树(R-tree)的某种变形来做索引。这些结构需要就地完成更新操作，因此在数据量很大时，维护开销相当的大。另一种方法是对这个二维结构进行遍历，并将其扁平化为一个普通的条目列表。使用这种技术的一个众所周知的例子是Geohash。 Geohash使用类似Z形状的路线来扫描整个二维空间，每次移动根据行进方向被编码为0或1。交错位的经度和纬度上的变更移动以及移动。编码过程在下图中进行了说明，其中黑色和红色位分别代表经度和纬度：

如图所示，Geohash的一个重要特性是能够通过这种逐位编码的近似程度来估计区域之间的距离。Geohash编码允许使用简单普通的数据模型来存储地理信息，比如用有序键值保存空间上的联系。[6.1]讲述了BigTable中的降维技术。更多有关Geohash及其相关技术的信息可以在[6.2]和[6.3]中找到。

(译者注：通过交织编码方式来能将原本需要多维度标示的数据，如cube，存储到一维的键值存储系统中，这是一种非常重要的建模模式：提供了不同缩放等级下在多维空间中邻接的数据仍然顺序存储，遍历高效;同时不同主键从前向后的相似度和空间距离的远近相一致，能通过键值的简单顺序比较判断其位置“相似度”。

它的应用远远不只地理信息的表示，有多个维度属性不同粒度的数据表示都能用到这个技术，比如线下销售交易数...

每天人们在吃饭，睡觉，工作，娱乐都会产生数据——大量的数据。根据IBM（国际机器商业公司）记录，人类每天会产生2.5万亿字节的数据，这相当于一堆DVD到达月球又返回来，我们发送的所有文本，和我们上传到工业传感器指标的照片，以及机器之间的通信这么大的量。

这是“大数据”成为一个很普遍的短语的重要原因。简单来讲，人们所谈论的大数据是指针对大量的数据，然后对它进行分析，最后把它转变成有用的东西的一种能力。

精确的来讲，什么是大数据？

然而，大数据远不止这些，

它是关于：

1、通常从多个来源，获取大量的数据，

2、不仅仅只是大量的数据，而且都是不同类型的数据——就是在同一时间获取多种类型的数据，还有那些随时间变化的数据——他们并不需要在第一时间转换成一种特定的模式或者变成一致的，

3、用这样的一种方式去分析数据，就是允许针对相同的数据池依据不同目的进行不间断的分析

4、可以快速完成这些，即使是一些实时的数据

在早期，工业提出，用首字母所写的方式来描述上述四个方面中的其中三个：VVV,分别是大量的（大量的数据），多样化（不同类型的数据，数据随时间变化的事实）以及速度（快速）。

大数据VS数据仓库

这个VVV首字母缩写缺失的是数据不需要进行永久性的改变（或转换）来对数据分析的关键概念。针对不同需求来对相同的数据池进行分析和可以对依据不同目的而收集的数据来进行分析。

相比而言，数据仓库是为了满足特定的需求来对特定的数据进行分析而建立的，而且数据结构化然后转化为特定的格式，在这个过程中，基本上毁坏了原始的数据，特定的需求指的就是——没有别的——提取，转换，加载（ETL）。数据仓库的ETL仅限于对特定数据进行特定分析的处理。当你所有的数据都被存储在你的交换系统中时是极好的，但是在当今互联网连接的世界中，来自各个地方的数据并不是这样的。

但是，你不要以为大数据使数据仓库过时了。虽然，大数据系统让你用随之而来的无结构化的数据进行工作，但是你所获得的查询结果远远不及数据仓库的复杂性，毕竟，数据仓库是为了深入数据而设计的，它可以做的很精确，因为它把全部的数据转化成同一种形式，这样可以让你做一些事情，例如，为了深入钻取而构建立方体。数据仓库的供应商花了好多年的时间使他们的查询引擎最佳化，查询引擎是用来回答业务环境中典型的询问。

大数据可以让你从更多的来源中分析更多的数据，但是分辨率更低。因此，我们在很长一段时间内与传统的数据仓库和新型的大数据一起生活。

在大数据之后，有了技术性的突破

为了完成大数据的四个需求面——大量，多样化啊，非破坏化得使用，以及快速——需要有多种技术性的突破，包括分布式文件系统（Hadoop）的发展，一种快速了解不同数据的方法（首先是谷歌的MapReduce，然后是最近的Apache Spark）,一个根据需求来进行访问和移动数据的云/互联网的基础设施。

直到大约十几年前，在任何一个时间都不可能去操控相对少量的数据。（是的，当时我们都认为我们的数据仓库是巨大的，然而自从互联网产生并且与各地的数据开始连接之后，这种环境发生了明显的转变。）数据的存储量，计算能力，对从多个数据源收集的不同格式的数据的处理能力的局限性，使得所有的任务都是不可能完成的。

接下来，在2003年左右，谷歌的研究者开发了MapReduce，该编程技术通过首先将数据映射到一系列键/值对来简化处理大数据集，然后对类似的键值进行计算把它们减少到单个的值，在成百上千的低成本的机器上来并行处理每一个数据块。这种巨大的并行性允许谷歌从越来越大量的数据中更快的产生查询结果。

在2003年左右，谷歌创造了两个突破，使大数据变得可能：一个是Hadoop，它是由两个关键的服务组成：

1、使用Hadoop分布式文件系统（HDFS）实现数据的可靠存储

2、使用MapReduce技术使处理并行数据高效化

Hadoop是使一系列的的商品，在无共享的服务器上运行的，在Hadoop这个集合上按照你的意愿来添加和删除服务；系统检测并补偿在任何服务器上的硬件或系统问题。换句话说，Hadoop是可以自我修复的，尽管系统发生改变或故障，它还是可以传递数据——运行大规模的、高性能的处理作业。

尽管Hadoop为数据存储和并行处理提供了一个平台，但是真正有价值的还是技术的附加、交叉集成和自定义实现。为此，Hadoop提供了子项目，它给平台增加了新的功能：

Hadoop Common：支持Hadoop的其他的子项目的普遍实用工具

Chukwa：一个是为了管理更大的分布式系统数据收集系统

HBase：可扩展的分布式数据库支持大量的结构化数据

窗体顶端

HHDGRG窗体底端

HDFS: 一种分布式系统，可以对应用程序数据提供高吞吐量访问

Hive：提供数据摘要和即席查询的数据仓库基础设施

MapReduce：用于在计算集群上分布式处理大型数据集的软件框架

Pig：并行计算的高级数据流语言和执行框架

ZooKeeper：分布式应用程序的高性能协调服务

Hadoop平台的大多数实施方案至少包含这些子项目中的一些，因为他们通常是开发大数据所必需的。例如，大多数组织选择使用HDFS作为主要的分布式系统，把HBase作为数据库，它可以存储十亿行的数据，MapReduce的使用和最新的Spark几乎是给定的，因为他们给Hadoop平台带来了速度和灵活性。

使用MapReduce，开发人员可以在分布式处理器集群或者独立计算机上创建一个并行处理大量的非结构化数据的程序。MapReduce框架可以分为两个功能区域：

Map：把工作包发送到分布式集群的不同节点的功能

Reduce：整理工作并把结果解析成单个值的功能

MapReduce的主要优点之一就是它是容错的，它是通过监视集群中的每个节点来完成的；预计每个节点会周期性地报道已经完成的工作和状态更新，如果每个节点保持静默的时间比预计间隔长，那么主节点会记录下来，并把这个工作重新分配给其他节点。

Apache Hadoop，它是一个把MapReduce作为核心的开源框架，在两年之后开发出来。最初建成索引的搜索引擎是Nutch，而Hadoop现在几乎被用于广泛的大数据工作的主要行业。由于Hadoop的分布式文件系统和YARN（另一个资源协商者），这个软件让用户可以在数以千计的设备上传播大量的数据，就好像它们全都在一台巨大的机器上。

2009年，加州大学伯克利分校的研究人员开发了ApacheSpark作为MapReduce的替代品，因为Spark使用内存存储执行并行计算，因此它可以比MapReduce快100倍。Spark可以作为一个单独的框架或在Hadoop内部工作。

即使是使用Hadoop，你仍然需要一种存储和访问数据的方式。这通常是通过如MongoDB、CouchDB以及Cassandra这些数据库来完成，这专门适用于处理分布在大型机器上非结构化或半结构化的数据。与数据仓库不同的是，大量的并多类型的数据会被融合成统一的格式然后存储在单个数据存储中，这些工具不会改变底层属性和数据的位置---邮件还是邮件，传感器数据还是传感器数据---事实上，它们可以被存储在任何地方。

尽管如此，在一个机器集群的数据库中想要存储大量的数据仍然不是容易的，除非你用它做了一些事情。这就是大数据分析的原理，像Tableau、Splunk和Jasper BI工具可以让你从语法上分析数据，以识别模式，提取意义并揭示新的见解。你所做的事情会因你的需求而不同。

原文地址：https://infoworld/article/3220044/big-data/what-is-big-data-everything-you-need-to-know.html

作者ID：分析世界讲方案

都说大数据的目的在于分析，但数据捕获却是第一步。这一步，就像人生第一次呼吸，决定着后面的生存是否继续；这一步，就像迈开第一个脚步，决定着后面的道路是否平坦；这一步，就像作者第一篇文章，决定着后面的叙述是否进行；闲话不讲、废话不说、言归正传。

数据捕获是大数据分析的源泉，但它的能力构成并非如此简单。

从常规来看，学习使用大数据往往更聚焦于大数据能力域，所谓能力域其实可以从身边的情景观察找到答案。比如，企业招聘更被用人部门关注的职位是架构师、分析师、数据科学家；外部大数据培训机构更被学员关注的是大数据生态圈的学习和主流技术掌握；企业大数据方案交付更被客户关注的是整体方案的可行性及商务报价……而数据捕获这么重要的一项工作，往往是工程实施的第一步。

大数据领域的数据捕获，如图所示，主要涵盖了五大方面的能力：多结构化数据源支持、多种数据接入方式、企业级数据交换系统、数据加载时效性保障、异构平台间数据集成。

这五大方面的内容展开，可不是这一张图能概览的，是巨大的内容产出，所以今天就粗略介绍，权当是抛砖引玉。

多结构化数据源支持

这个毋庸置疑，大数据时代本身就是要处理海量的、多结构化的数据源。原来传统的、关系型数据库结构化数据往往存储在企业的生产系统，而且都是“高价值”数据（客户资料、产品信息、财务数据等），这些数据原来早在“BI时代”就已经纳入处理。移动互联网的发展产生了很多非结构化数据，这些数据的数据量巨大且类型繁多，因此又称之为“低价值”数据（互联网日志、点击流、图片等）。所以这些数据需要纳入平台进行处理和分析。所以，除结构化数据之外，大数据将面临更多类型的数据源，包括文本、音频、视频等非结构化数据或者XML、Json等半结构化数据。对于大数据平台而言，混杂的数据源支持是考验平台能力的第一道关卡。而且这些数据并非纳入捕获就可以发挥价值，所以就一定需要相应的计算引擎和分析引擎等技术组件有一定要求。

多种数据接入方式

再有，平台应该通过什么方式获取数据？其实这主要取决于原系统类型和数据类型。原系统为关系型数据库的，可以通过ODBC/JDBC或API调用捕获数据；是文件系统的可以通过FTP装载或第三方工具抽取数据；是MQ消息的可以通过中间件订阅获取。总之要想尽一切办法把原系统的数据load到大数据平台，运用各种手段、各种工具满足数据获取的要求。

企业级数据交换系统

为此，数据捕获的行业进程已经不单单是“原封不动”的平移，伴随着大数据系统的规模庞大和功能完善。所以，大数据核心能力更应该把精力用在大数据作业的处理和分析，避免很多“脏活儿、累活儿”也占用宝贵的计算资源，那么这些活“谁”来干？是的，可以前置倒一些“集群”来完成。这些“集群”早年间通常叫做ETL/ELT工具，就是简单做做字段去重、内容清洗和字符转换的事情，但后来大数据系统日趋庞大，紧靠工具级的ETL不能满足这些需求，这就要求引入企业级数据交换平台（概念传统ETL的所有功能）。企业级ETL不仅承担大数据预处理环节，更能作为数据交换的核心枢纽，支持跨异构平台的任务调度和管理；

数据加载时效性保障

数据加载的时效性方面，不仅包括传统CDC（变化数据捕获）、批处理/微批次的概念，还包括实时/流的概念。尤其是高时效性的业务场景，比如实时分析、实时营销、精准推荐、实时监控等等。这些业务应用的最终效果不是“秒级”触发也是“分钟级” 刷新，所以这就对前置数据捕获提出了要求和挑战。因此作为数据获取域，必须要构建高可靠、分布式的数据传输平台，支持离线、实时、微批量等不同加载时效性的数据采集；

异构平台间数据集成

还有一些平台级别的大系统，需要整个系统的全库表导入到大数据平台。因此作为数据获取域，还应该支持不同系统类型的数据导入和集成，保障数据传递和导入导出。例如从Hadoop系统（Hive）导出到数据仓库，或者从MySQL/Oracle导出到Hadoop等等。这就需要工具级别的支持。

因此大数据平台应涵盖传统结构化、非结构化等混杂数据源，支持不同类型的数据获取和集成。采用多种数据接入方式以构建企业级ETL能力，满足各类时效性采集要求，从而实现海量数据的高效整合；

作者ID：分析世界讲方案