489034603

由于大数据的迅猛发展，数据正在呈指数级增长，各种传感器的剧增，高清晰度的图像和视频都是数据爆炸的原因。腾讯、淘宝掌握了大量的用户数据，力图描绘出用户的整体“画像”。面对大数据的汹涌来袭，传统的数据存储和数据库技术已经难以应对，那么，大数据技术如何存储海量数据并提高系统容错性？目前，较为主流的海量文件存储技术有Google的GFS和Hadoop的HDFS，HDFS是GFS的开源实现。它们均采用分布式存储的方式存储数据，用冗余存储的模式保证数据的可靠性。

下面我们通过几个问题，来让大家更好的了解数据存储应该如何解决？

1、大数据的处理流程包括了哪些环节？每个环节有哪些主要工具？

数据采集： 半结构日志文件可使用flume； 结构化数据可以使用传统的E TL工具如，datastage、kettle 等等

数据存储：hadoop hdfs存储海量数据；也可用传统的oracle、sysbase iq等数据仓库解决方案

数据统计： 使用hive、impala对hadoop进行统计分析；

数据挖掘：可使用mahout进行数据挖掘

2、大数据的数据库相比于传统数据库有何变化？出现了哪些新的大数据的数据管理方式？

量大、结构多样、速度要求高等特点； 出现了以hadoop为代表的分布式存储和nosql等数据存储管理方案

3、大数据工程师应该都知道，现在处理大数据文件的存储，比较典型的有Google的Big Table和Hadoop的HBase，它们有哪些相似点和不同点？

Hadoop的HBase是Google的Big 的开源实现，每个人都可以下载来使用，也可以根据自己需要进行修改和完善

以上都为个人观点，谨供大家参考一下，如果感觉写的可以，即可给自己一个比较准确的定位，为以后的学习找准正确的方向。

另外，如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

大数据可以应用得更广泛，最让人津津乐道的是预测未来。比如，可以用大数据预测大气污染什么时候会到达一个危险的水平，我们可以在那之前就采取措施；可以预测犯罪活动最有可能在哪里、在什么时候集中爆发，我们可以提前部署警力；已经有不少银行在使用一种类似大数据分析的系统来决定是否要给顾客贷款。

总的来说，我认为，大数据预测在医药生物领域用途特别广泛。因为这个领域的数据实际上是无穷尽的，可惜的是我们甚至都没能将已有的数据储存下来。人类基因组包含数十亿碱基对，我们目前对这些碱基对到底在人类基因中发挥什么作用，又是如何相互作用导致了疾病实在是所知甚少。

又比如存在于人体内对人体的机能（如消化）发挥着重要作用的细菌微生物，其基因更比人的碱基对多百倍。我们不知道这些碱基对的作用，但是，我们有80亿人生活在这个地球上，这是一个巨大的潜在数据库。

大数据预测可以帮助我们找到哪些基因组合会带来疾病，而哪些组合又会提高强大的免疫力。比如，有些人对疟疾免疫，我们就可以专门研究这些人体内基因组中的碱基对的分布情况，找出其中的奥秘。

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?

第一，数据采集

定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战：并发系数高。

使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特点各不相同。

第二，统计分析

定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。

特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多。

使用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle Exadata，除Hadoop以做离线分析为主之外，其他产品可做实时分析。

第三，挖掘数据

定义：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。

特点和挑战：算法复杂，并且计算涉及的数据量和计算量都大。

使用的产品：R，Hadoop Mahout

对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

未来几年,全球数据量将呈指数级增长。据国际数据公司(IDC)统 计,全球数据总量预计2020年达到44ZB,中国数据量将达到8060EB,占全球 数据总量的18%。

如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全 球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提 供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型 激发了许多新的方式。研究表明,72%的企业首选大数据应用需求是基于客 户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服 务等也是企业优先考虑的大数据应用。

传统的拍脑袋的决策方式和营销手段,对大数据时代消费模式的战略决策 已经不再那么适用,尤其是越到后来,市场、媒体、渠道成本就越高,企业所 换取的收益越来越少。那么,如何才能在新时代里,寻找到投资和回报的平衡 点,就需要利用大数据去预测消费者的行为,提高其购买力,从而获得利益。

大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是 要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测 事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一 样,没有本质变化,所以商家会比消费者更了消费者的行为。

沃尔玛是数据挖掘分析领域的先行者,建立了全新超大数据中心,利用 大数据技术和方法使得自己可以更好地优化物流、商品陈列和价格,还能够 对客户行为做出预测,巧妙利用顾客数据实现盈利增长的有效经验,推出有 前瞻性的促销。相类似的是,银行业、航空业、汽车业而今也在使用大数据 技术和方法来推进营销预测,这些行业中也不存在所谓线上渠道和线下渠道 之争,企业可以根据规划需要灵活投入,并捕捉实时数据进行动态调整。

《大数据变革:让客户数据驱动利润奔跑》一书的作者指出,包括已知行 为动机和必要的实际客户行为数据的细粒化市场图景,可以为企业提供更广泛 且有数据支持的客户价值理解,企业将可能因此实现恰当的、有针对性的向上 和交叉销售,促成替代效应,缩短客户数据反馈至研发和制造等环节的周期。 客户数据带来更多的客户价值,指的是数据能够帮助企业较为精准地找到单个 客户层级所处的市场,留住客户,促进客户的推荐,降低营销成本。

Automercados Plaza’s是委内瑞拉的一个家族式食品连锁店,拥有超过6TB 产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管 知道他们需要从数据中获得 宝贵的洞察力。

Automercados Plaza’s公 司CIO Jesus Romero说:“在 定价、库存、销售、配送和 销售方面,我们面临着严重 的混乱。我们拥有近2000万美 元的库存,而且我们追踪不 同系统中的相关信息,并且 手动进行编辑。我们需要一 个整合的视图,以确切地了 解我们拥有什么。”

通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利 润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更 快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损 失,因为公司能够提前安排降价,在食物变质前将其销售出去。

一些成熟的企业可能会发现他们很难摆脱根深蒂固的做事方式,而初创 企业却有能力创造新的商业模式。

——免费数据收集器和聚合器:社交数据流服务提供商Gnip公司,通过 各种渠道收集数据,大部分都是免费的,然后对数据进行过滤和完善,并根 据客户需要的格式向他们提供数据。

——数据分析服务:这些公司通常为客户提供分析数据的服务,这些数 据通常是由客户提供的。例如Sendify公司,为企业提供实时的调用者情报, 所以当有电话打进时他们看到打电话的人的很多相关的附加信息,这会帮助 企业增加他们的销售机会。

——数据生成和分析:公司通过众包、智能手机或其他传感器生成自己的数 据,他们也提供分析服务。这个例子包括GoSquared Mixpanel和Spinnakr公司, 他们通过使用一个跟踪代码在他们客户的网站上收集数据,分析数据并使用web界面提供报告。

——免费数据知识发现:这个模式是免费提供数据和分析。例如,Gild公司通过自动评估应聘者发布的代码并进行打分,来帮助企业招聘开发人员。

——数据集成服务:这些公司从多个内部源获取数据并对数据进行汇总, 然后通过一系列用户友好、通常是可视化界面,将结果反馈给用户。在教育领域,从多个教育项目和网站汇总的数据时刻帮助教师监控学生的表现。

——多源数据混聚和分析:这些公司将客户提供的数据进行汇总,大多是 免费的数据源,并对客户数据进行分析,以丰富或基准数据。例如welovroi是 一个基于网络的数字营销公司,监控和分析工具能够使企业跟踪大量不同指标。它还能集成外部数据,并保证营销活动的成功的基准测试数据。

好产品是运营出来的,互联网产品需要不断运营、持续打磨。产品运营 的目的是为了扩大用户群、提高用户活跃度、寻找合适的商业模式并增加收 入。成功的互联网运营要做到精细化运营,成功的精细化运营需要大数据支 撑。大数据和互联网思维在此方面关联度最高。所以,企业在大数据的应用 场景上,一定是要优先考虑如何通过大数据进行精细化运营,以驱动更好的 运营效率和效果的提升。

欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈, 例如纵火,或者涉及到较小金额的索赔,例如虚报价格的汽车修理账单,欺 诈索赔每年可使企业支付数百万美元的费用,而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不 仅费时,而且要支付高昂的费用。

作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。 欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果——运 行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少 需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声 誉在客户希望快速获得结果的时代受到了损害。

通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力 及早发现欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为 五个风险类别,并将可能的欺诈索赔和更高风险与低风险案例区分开。借助 新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险 索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实 施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数 据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。

受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,IBM商业价值研究院为企业实施大数据举措提供了如下的建议。

以客户为中心推动初始举措

最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势 在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需 求,并预测未来行为,从而为客户提供更好的服务。

全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个 人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供 价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和 高级分析能力投资,以更好地了解各个客户的交互和偏好。

但是,当今的客户 ——包括最终消费者或者企业对企业客户,需要的不 仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认 为有价值的方式与客户联系。

价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通 过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大 数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。

制定整个企业的大数蓝图

蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与 IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进 业务目标的一致理解。

有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据 的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而 定义了企业内大数据的范围。这是为指导企业以实用的方式,并以创造可持 续的商业价值为出发点,开发并实施大数据解决方案而制定蓝图的基础。

从现有数据开始,实现近期目标

要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知 识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力, 最具逻辑性和性价比的地点就是企业内部。

从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值, 并且在考虑提升现有的能力而处理更复杂的数据来源和类型之前积累重要的 经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩 展其数据仓库,以处理更大数量和更多类型的数据。

根据业务优先级逐步建立分析能力

在世界范围内,越来越多的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企 业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平 衡,预计新角色和事业模式将会出现。

关注内部分析人员的专业发展和事业进步,他们已经熟悉企业独特的业 务流程和挑战,这应是业务高管的首要任务。同时,大学和个人自身(无论什 么背景或专业)都有义务培养强大的分析技能。

基于可衡量的指标制定投资回报分析

制定综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投 资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重 要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。

许多企业的投资回报分析基于以下可从大数据获得的益处:

更聪明的决策-利用新的数据源提高决策质量;

创造奇迹的决策-使大数据举措注重于那些能够提供真正差异化的领域。

这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基 础设施、数据源和量化分析,以支持该业务机会。

内容来源：2017年5月13日，周末去哪儿架构师李锡铭在“Java开发者大会 | Java之美【上海站】”进行《大数据平台快速解决方案中》演讲分享。

阅读字数：1891 | 4分钟阅读

摘要

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。周末去哪儿架构师李锡铭根据自己的成功经验，为我们分享大数据平台快速解决方案。

大咖演讲视频

http://t/R9an7Rr

搭建始末

当时我们确定要做大数据的时候，有两种选型。第一种选型是用用原生的、开源的大数据技术，需要自己搭建；第二种是ODPS。

后来我们选择了利用原生大数据，自己搭建一个大数据平台。因为我们已经有了一定的小积累，并且也想做一个大数据方面的技术沉淀。

在移动互联网时代，用户所有的行为、浏览、记录和收藏等所有的数据，我们都会把它拿下来分析，前段时间阶段性沉淀的东西有多少，是对之前的一个总结。这个数据还能帮助我们进行深度挖掘，之后如何对不同用户分类，做一个精准化的营销定位。

每个公司都会对这些数据进行报表级的展现。我们最开始的数据实现方式是把所有用户的行为数据放到传统的关系型数据库中，利用纯Java应用程序去读这张表。当计算某个指标的时候，还会关联若干张子表。这张主表大概有几千万，其它子表也是百万级甚至千万级的。如果单纯用Java去算的话，还要额外处理多线程。

所以我们用传统的Java纯程序+关系型数据库去处理报表的时候，在存储和计算的性能上会出现问题，以至于报表需求越来越慢。

在这样的大背景下，我们改成了使用大数据去处理这种场景。

技术概览

Hadoop是现在所有大数据计算存储的一个底层概念，后面所有衍生的大数据产品都是在Hadoop的基础上进行衍生的。

这张图是目前大数据平台的架构。

原生的Hadoop应该包含了Hdfs（文件存储）、Yarn（资源调度）和Mapreduce（算法）。

Spark是类似于Mapreduce的一个计算框架，它在很多场景中的性能会比原生的Mapreduce好很多，尤其是迭代计算的时候，会有好几个数量级的提升。

Sqoop是一个数据的迁移工具。

Hive是对底层Hdfs系统的文件抽象出一个类似Mysql的关系型数据库，但大前提是它是在Hadoop这个大的语义下的关系型数据库。

Oozie是一个任务编排和调度的框架。

Hue是大数据的管理后台。

Zookeeper是分布式协调工具。

1.组件分类

基础数据：Mysql，File。基础数据层是游离于大数据之外的概念，它是传统的数据来源。

大数据存储：Hdfs、Hive。大数据存储是最基础的文件存储，在这基础上抽象出一个大数据的关系型数据库。

大数据计算：Mapreduce、Spark、Sqoop。Mapreduce是原生的，Spark是新生的，Sqoop是数据转移的工具。

大数据协调与调度：Yarn、Zookeeper、Oozie。Yarn是原生的，Zookeeper是一个分布式保证文件原子性的工具，Oozie是调度工具。

大数据展现：Hue。Curd的展现层。

2.典型执行流程

最开始说过，我们遇到的问题是，Mysql的表存不下，计算也有问题。在这个场景下要把数据，从Mysql转到大数据，并利用大数据进行计算，最后做一个展现。

它的流程是，首先通过Sqoop把Mysql的数据一次性或是增量的同步到一张Hive表里，用Hive Sql写好查询后，本质上Hive Sql会转化成Mapreduce任务再去执行，最后数据就展现出来了。

很多时候后台的服务Control层会有入口和出口，我们需要把入口和出口的参数都记下来，方便以后排错或做统计方面的应用。

在应用程序里，把这些消息定时写到消息队列中，用Spark定时读消息队列，并把这些读取到的消息按Spark的方式做一个编程。这个任务最终会被丢到Hadoop的底层计算里，然后用Yarn去调度，计算出结果，把这个结果写入Hive，这就完成了一次流式计算。

3.Hue

这里写了一个Hive Sql，与传统Mysql的写法几乎一样。Hive Sql写好以后点执行。它的过程是把Sql首先交给Hive去跑，Hive用自己的Sql解析引擎把这个任务翻译成Mapreduce，Mapreduce再用Yarn跑在Hadoop上，最终把结果跑出来。

4.存储：Hadoop hdfs

HadoopHdfs是基础的存储层。

HadoopHdfs其实只包含了两种类型，一个是Namenode，一个是Datanode。Namenode是一个管理的节点，而datanode只负责数据的存储和冗余。

5.计算：Mapreduce&spark

Hadoop原生的计算框架是Mapreduce，而spark是一个新兴的计算框架，它更快更全面。

6.资源管理器：yarn、Apache、hadoop yarn

资源管理器的架构内包含rescource manager和node manager。Rescource manager是管理节点，node manager是work节点。

把任务丢给rescource manager，它去把任务分发给每个节点，做一些状态的变换，最后把结果通过rescource manager汇总以后，处理完毕交给客户端。

7.hive

hive的架构并不是很复杂，上层是一些用户的API、web页面和命令行。它的核心是执行引擎，把sql翻译成大数据平台可以接受的任务。底层基于存储，它可以存在hdfs上。

8.sqoop

主要用于在hadoop与传统的数据库间进行数据的传递。

9.ooize

大数据任务编排调度。

学习与使用路线

如果想要学习一些大数据相关的东西，我推荐可以先掌握一些基础，然后找一个场景套进技术里，进行快速实践。在快速实践的过程中会发现很多问题需要解决，很多知识需要补充，所以要在实践中前行，在错误中补充。

我的分享到此结束，谢谢大家！

一、大数据应用思维

【例1】

产品经理给大数据部门提了个需求：我想知道所有用户的标签，比如哪些用户喜欢时尚类型的微博、哪些用户是单身狗等，好给这些人针对性推阿里巴巴的广告，而且很急，下个月新版本就要上线。

大数据部门的程序员们收到需求之后，一分析，数据有好几百TB，一台机器跑要跑7个月（200多天），所以得用分布式计算。于是搞了100台服务器，并把这100台服务器分成两部分，一部分有90台，叫Master，负责划分数据，分配数据处理任务；一部分有10台，叫Worker，负责归并数据块，计算出最终结果。

服务器搭建好了，架构弄好以后，程序员开始分头写程序，一部分负责写数据文件的划分，把文件分成一小块一小块来处理；一部分负责写计算任务调度，就是把划分好的数据文件分配到90台Master服务器中；一部分负责写归并处理程序，部署到剩下的10台Worker服务器，接收那90台服务器传过来的数据，并计算结果；一部分负责写出错检测，检查哪些机器挂了导致计算任务停止了，一旦发现出错了，把计算任务分配到其他正常的服务器上计算。

10台Worker服务器根据1，2，3...10，进行了编号，假设每个人的都有一个微博ID（是数字）,按照微博ID的个位数来进行划分，比如我ID是 1001，那我的处理结果会在1号服务器，ID是100213，那么处理结果就在3号服务器。

假设上面的流程都正常，因为机器多了，原本需要200多天的任务，有了100台机器，结果3天就跑完了！得到了这样的微博用户特征（@大师兄[单身概率 88%，科技工作者概率90%，性别男概率100%，本科毕业概率81%，收入水平5000元/月概率 10% ...]）。

二、数据处理的流程

大数据的数据处理这件事用一种非技术的角度来看的话，可以按处理顺序分为三个部分，第一个部分是数据采集，第二个部分是数据存储，第三个部分是数据分析，这也是大数据搭建的基本产品模型。

1、数据采集

● 基本原则

全：多种源（客户端、服务端、数据库等），完善的数据源（零售、C端、电商、供应链等）全量而且非抽样

细：Who、When、Where、How、What

数据采集最重要的就是数据源，数据源好，后面的事情都很容易。但如果数据源就有问题或是太差不全之类的，后面有些问题用再复杂的算法可能都解决不了，可能都是很难得到正确的结论。所以数据采集处理流程有两个基本的原则，一个是全，一个是细。

● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。大数据里面讲的是全量，而不是抽样，因为数据之间可能有很大差异。比如纵向里，做全国零售数据分析的时候，不能只把四川或者北京的拿来分析，因为它一定代表不了黑龙江、甘肃等地方，所以必须要全量分析全国数据。横向里，我们在分析某个商品的总的销售情况的时候，我们除了分析线下零售数据还有需要C端外送数据和电商数据，因为一个东西可能在公司的多个业务系统上销售。所以对于多个业务系统的公司，需要每个业务系统涉及的数据都要足够全，不能有任何一个系统有缺失。

● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像 where、who、how 这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。

● 数据清洗：在数据采集过程种需要对源数据做清洗处理。其实也是对数据做加工的过程，确保命名约定，编码结构，属性维度等一致性。因为本身的源数据会存在垃圾数据，本身也是杂乱的没有很好的逻辑，数据清洗的过程就是让数据更具逻辑性，更干净有序的存储。

2、数据存储

①、数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。在软件工程中，数据建模是运用正式的数据建模技术，建立信息系统的数据模型的过程。（百度百科）

数据模型就是对现实世界的一个抽象化的数据的表示。大数据的数据建模则是基于大数据本身的数据量、数据特征、业务需求、还有自身分析重点和目标做的数据模型。我们可以针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。数据建模时常常考虑的有两个概念，一个是维度，一个是指标

通常各个业务系统，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。数据建模则可以把这些关系重构，让业务人员更容易理解。

②、数据仓库

● 面向主题：数据仓库是围绕着一些主题，如顾客，供应商，产品，销售等创建的。数据仓库关注决策者的数据建模与分析，排除对决策无用的数据，提供特定简单明确的数据视图。

● 集成：构造数据仓库时，数据来源是多种异构的数据源，使用数据清洗和数据集成技术，确保命名约定，编码结构，属性维度等一致性。

● 伴随时间变化：数据仓库存储从时间维度提供信息，所以每一条数据必须包含时间维度，同时也就需要各个业务系统在建表时加入“创建时间、修改时间、创建人、修改人、是否删除”五个字段

● 非易失：数据仓库不同于普通的业务应用数据，它跟操作环境下的应用数据是分离的，所以它不需要参与事务处理和并发控制。通常它只需要两种数据访问：数据的装入（抽取）和数据访问，不存在数据更新或者数据删除，所以数据修改时需要加入数据修改时间、修改人，数据删除时在数仓标记数据已经删除。

数据仓库在创建的时候需要分库和分表：创建表时根据数据清洗阶段进行分库，根据主题域进行分表。

③、数据集市

数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

用通俗的话说数据仓库是为数据集市提供服务，在数据仓库里，每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策。而数据集市就是数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

在数据结构上，数据仓库是面向主题的、集成的数据的集合。而数据集市通常被定义为星型结构或者雪花型数据结构，数据集市一般是由一张事实表和几张维表组成的。

数据集市特点：

● 数据集市的特征包括规模小。

● 有特定的应用。

● 面向部门。

● 由业务部门定义、设计和开发。

● 业务部门管理和维护。

● 能快速实现。

● 购买较便宜。

● 投资快速回收。

● 工具集的紧密集成。

● 提供更详细的、预先存在的、数据仓库的摘要子集。

● 可升级到完整的数据仓库。

3、数据分析

当数据采集回来并存储好以后就可以在这基础上运用这些数据来做数据分析了，对于互联网产品常用的分析方式有四种：

①、多维度分析： 多维事件的分析，对不同维度之间的组合、关系进行分析。

②、漏斗分析：对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。

③、留存分析：用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。

④、回访分析：回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况

上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

我们在数据库中更多的是对表的操作，而在表中我们又有单表与多表的操作，在其中最复杂最多的就是增删改查中的查询。下面我们一起来学习。

Insert插入操作

为了方便我们的操作，我们使用Navicat软件来进行接下来的学习。大家可以在文章最后有工具分享

我首先在数据库你们新建一张表，student ，然后我们在软件上方点击查询进入查询编辑器，输入命令行，当然有别的方法，为了展示sql语句，我们使用命令行来操作。

1.插入所有列值

2.插入部分列值

3.不指定列名

在每次操作的时候我们都要录入列名，好多时候我们都是默认录入所有的列，所以我们为此有不指定列名的操作。

注意： 在录入数据是除了数值的类型以外，别的都要用单引号引起来；values中的数据位置要与表中的列名顺序相匹配；如果插入空值，我们可以不写字段也可以插入null。

Update更新操作

数据库中的updata语句用来修改表中的数据。

更新某一行中的一个列

更新某一行中的若干列，这就是我们的更新操作，能够根据数据的关键词进行查找，利用set实现对数据单行修改和多行修改。

Delete删除操作

除了上图的数据我们还有一个 drop table 表名 ---在这里删除的是整个表。我们在这里对两种删除类型delete与truncate进行区分一下

Select基本查询

select查询语句是我们数据库中的最最最重要的语句，它的语法十分的灵活。

1.查询指定的列

2.查询所有列

3.去掉重复记录

如果我们想要看一张项目表中的有多少不同的公司时候，我们可以选择使用这条语句。

4.使用别名

在这里我们注意的是，我们只是将查询的结果表示成了我们想要的名字，并没有改变原来的数据表。

5.ifnull函数

为了解决数据的列值为null时的问题，我们使用ifnull函数。

6.where子句

where子句在我们之前的例子也列举了许多，我们通过where子句规定了选择的标准，还有规定了我们要查找的条件范围。

语法：SELECT 列名称 FROM 表名称 WHERE 列 运算符 值

常用运算符：

逻辑运算符：

查询数据表的（同时）满足id或num的条件的值，我们使用上述的语言。

between ...and

SELECT * FROM products WHERE price BETWEEN 100 AND price;在这里注意的是between的前值应该比后面的值下，相当于 >= and <=

in

SELECT * FROM products WHERE price IN(65,100,190);通过in我们可以比较价格是65,100,190的商品信息。

like

like，像。就是我们所说的模糊查询。通配符使用: 1.% 匹配多个 2._匹配一个

null值操作

在这里，not这个词我们可在不同的地方使用，如上图。

order by排序

7.聚合函数

在select中的简单查询中，不难想想都是横向的查询，就是根据我们的条件查出符合条件的信息，而聚合函数就要对数据进行纵向的操作，比如求和，是对一列的数值进行操作后，返回一个sum值。另外聚合函数会忽略空值。

看个例子：

8.分组操作

group by语句用于对数据的分组操作，在后面的hiving子句对分组的数据进行过滤。Having与where的区别：

--having是我们对数据分组后对数据进行了过滤，而where是在我们对数据分组之前就对数据进行了过滤

--having后面可以使用我们的分组函数，换句话说就是统计函数，where则不可以使用。

总结

上面的一条语句是我们select语句的集合体，大家可以看看能不能看懂，看懂说明你对此单表操作有了一定的掌握。在这里的limt是查看从第2条数据开始查看，看2条数据，也就是2,3的数据。记住数据是从0开始计算的哦`

好了，今天我们的单表操作就到这里，下篇我们带来的是多表的连接操作，如果有帮助到大家，关注支持一下呗~

感谢坚持关注的朋友

世界很大，幸好有你

欢迎在评论区留下你的问题或困惑，我将每天与你分享我的观点和心得。

聚焦最新科技咨讯，探寻未来智能领域，我是女陶。

0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可