0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可

大数据分析，是互联网从业者必须具备的一项基础技能，只有掌握数据分析，做项目才能更科学化、对于项目的预判，能够更准确的把握。今天分享的这些数据分析工具，是我们分析项目经常用的工具，毫无保留的分享给大家，希望大家在操作项目的过程中熟练的使用这些工具。 定能够让你在网赚道路上无往不胜。1、百度指数第一款必备工具。百度指数，我们在查询某一些关键词的时候，首要考虑的就是百度的数据如何，因为百度这个搜索引擎在互联网搜索引擎中占据的份额最大，数据精准度高。检索的很多关键词以及一些热点词的数据对比，都能直观展现出来，通过人群、年龄、性别、兴趣爱好、地域等更为详细的信息，方便我们做出更理智的判断。

2、微指数我们在查询一些关键词的时候，要分析社交数据。对于产品传播非常重要，通过调查数据，我们知道如何把握住当今热点，让产品蹭热度飞一会，是很多商家考虑的问题。新浪微博旗下产品微指数，可以很容易帮我们把控热点关键词。让我们清楚地看到近七天趋势如何，及时对产品做出调整。

3、阿里指数我们在操作某宝店铺项目的时候，需要分析更多的数据，来确定标题内容如何定位优化，用户检索更为简单，如何蹭热点关键词飞上那么一会儿，如何引爆流量做核心爆款。这个跟成交量有非常大的关键，哪类行业有哪些关键词在搜索时上升幅度比较快，很有潜力，知道这些信息后，我们都需要提早的布局。等相关的关键词上升到一定幅度时，我们恰好出现在热点上，在用户检索时很容易爆单。这个数据分析工具是中小卖家逆袭的机会。一定要好好研究。

4、腾讯指数BAT三大巨头，柒点哥介绍两家了，怎么可能缺少 TX 指数，TX 旗下的各类产品琳琅满目，自然对数据掌握的精准程度不是一般企业可以比拟的。算得上行业顶尖了。但是目前为止使用腾讯指数分析的用户实在少之又少，大部分人不知道这个功能，今天柒点哥告诉大家，腾讯确实有指数分析的功能。而且可以从九大品类开始分析数据，可以说是一款很强大的运营工具。

5、爱站网爱站网：是一个综合性的数据分析平台。我平常都在用这个网站分析一些网站相关的信息，比如，网站收录状况，PR值，域名信息，友情链接等一些数据。但是最长用的一个功能就是长尾关键词发掘。这项功能有助于我们通过主关键词，发掘带流量的附属关键词的状况，类似于百度推广后台的数据分析。非常不错的免费工具，大家以后可以常用。

6、QQ指数QQ指数是一款基于QQ平台用户数据分析的移动端指数类产品，定位于洞察QQ平台上年轻人最新、最热、最关注的社交内容，通过分析QQ平台上用户公开发表的说说、评论及搜索、浏览等行为数据，发现年轻人的热点趋势及舆论风向，透过QQ指数可以快速掌握年轻人的兴趣喜好和行为习惯等信息。作为T讯旗下最为核心的产品，对于我们互联网人士来讲，把它称为流量的天堂，只要随便找一个平台来操作产品，坚持一段时间都能暴富的。所以研究T讯系的核心产品，离不开QQ指数这个工具，对于我们把控QQ流量热点的趋势有很好的帮助，是非常重要的营销利器。

QQ指数官方账号：qq搜索框搜索 QQ指数，关注公众号即可查询，主要是带认证图标的那个。7、微信指数微信指数是微信官方提供的基于微信大数据分析的移动端指数。2017年3月23日晚，微信官方推出了“微信指数”功能。作为T讯旗下，第二个核心产品，微信可以说是后来者居上，各种苗头都表明要赶超QQ的趋势，对于我们互联网人士来讲，这是最好的变现渠道。因为很多网赚项目，最后结款的地方都是在微信端成交的。所以我们非常有必要来分析他的数据，基于微信推出了这一功能，让我们省了很多分析微信数据的时间。

微信指数官方渠道：小程序搜索微信指数8、安卓权重榜我们操作的一些项目，免不了在APP上操作，但是这个平台流量如何，以及人群属性，都很难预估。但是我们又必须了解数据才能够伸缩有度，所以我常用的这款APP数据软件，就能够给我带来客观的数据。

9、新榜以榜单为切口，新榜向众多500强企业、政府机构提供线上、线下数据产品服务，“号内搜”、“新榜认证”、“分钟级监测”获得广泛应用。在协同内容创业者商业化方面，新榜依托数据挖掘分析能力，建立用户画像和效果监测系统，连接品牌广告主和品牌自媒体。作为公众号的运营者，我特别注重公众号的分析，以及项目渠道的发掘。新榜作为专业的内容数据提供商，我是经常会使用他来分析数据，查看某些公众号潜力，随时观察它的盈利模式以及动向。

10、梅花网作为互联网人士，写文章投放广告，是我经常要做的事情，但是如何让广告的每一分钱都花到潜在客户身上，是我经常要考虑的。如何知道同行在哪里投放广告，也是我所关心的，梅花网是广告监测比较专业的网站，我经常用来分析广告数据，在这里推荐给大家。

总结：以上的十个工具呢，就是我经常用到的数据分析工具。我认为这是每一个互联网从业者都具备的基本功，用好数据分析，操作项目更加的事半功倍。但是用的时候不能太死板，可以结合起来相互用。实干派动手做，花架子空叹息，让技术为你工作。赚钱的玩法很多，只有思路够宽，你才能走的更远。没赚到钱，并不是文章干货不够，而是你懂得太少了。 保持空杯心态，永远在进步。

大数据时代给金融行业带来的颠覆性变革，不仅有数据的迅速膨胀所呈现出的几何级增长势态，更有海量数据背后的价值挖掘与基于数据的精细化运营。鲁迅说过：“在金融行业，数据无处不在，我们缺乏的不是数据本身，而是对数据的精细化运营以及数据背后的价值应用。”

例如券商开户引流过程中的数据分析：在开户过程中，注册用户到有效客户的转化过程一直是券商关注的重点，但目前大部分券商掌握的开户数据情况比较简单粗暴，对开户数据的分析应用较为简单。那么对于开户过程中隐藏的数据精细化分析应用，你知道吗？

今天小编就和大家简单的谈谈数据分析的具体应用场景：——如何在开户过程中实现对数据的精细化分析应用。

通过对开户过程中的数据埋点与精细分析，让券商获得不同维度下的开户情况概览、找到影响开户用户转化的问题节点、分析易造成开户失败或损耗的关键环节步骤、跟踪分析客户转化中的各项数据，不仅能有效提高开户转化效率，还能为后续的精准营销服务提供数据标签基础。

1、 通过对开户过程中的流程分析与关键节点的专项分析，对用户的行为数据进行深度分析，帮助券商找到影响用户转化的关键节点并判断用户流失原因，例如针对视频坐席、视频认证、银行绑卡、复核驳回等易出现问题的关键环节进行专项分析，帮助券商找到开户环节中可以优化的操作节点，有针对性的改进开户流程，改善优化客户体验，从而提高开户转化率；

2、 按照整体、渠道、营业部、经纪人等不同维度统计分析开户数据，通过数据可视化将开户转化效果清晰直观的呈现，为券商开户过程中的营销策略优化提供数据参考，帮助券商便捷统一的进行开户转化管理。例如，随着线上引流活动的增多，不同投放渠道的效果评估和统一管理愈发重要，通过渠道分析维度，不仅可以清楚了解渠道引流效果，进一步判断渠道投放质量的好坏，还能帮助券商优化调整渠道营销策略。

以上的两个场景应用，看得还不过瘾吧！因为时间宝贵，我们正忙着为华金证券的开户数据分析项目上线呢！当然啦，除了开户，数据精细化运营的应用场景和运用价值还有很多呢，下次小编再和大家分享更多数据分析应用的案例吧~

这篇文章从整体框架出发，介绍了数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

数据分析目前在国内互联网圈的受重视程度在逐步提升，但是问题也很突出：

大家对于数据分析的认知和理解支离破碎，缺乏一个整体的、系统的思维框架；

大家的视野更多局限在数据报表、BI 系统、广告监测等领域，对于数据以及数据分析其实是缺乏深层次洞察的。

这篇文章就从整体框架出发，介绍一下数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

一、数据分析价值观

如何让数据分析真正发挥价值？我认为必须在

价值认同、工作定位和商业模式

三点上取得突破。

（一）数据分析的价值认同

做好数据分析，首先要认同数据的意义和价值。一个不认同数据、对数据分析的意义缺乏理解的人是很难做好这个工作的。放到一个企业里面，企业的 CEO 及管理层必须高度重视和理解数据分析的价值。你想一下，如果老板都不认可数据分析的价值，那么数据相关的项目在企业里面还能推得动吗？然后，企业内部还需要有数据驱动的公司文化。

如果大家宁可拍脑袋做决定也不相信数据分析师的建议，那么数据分析往往是事倍功半、走一下形式而已，反之则是事半功倍。

（二）数据分析的工作定位

做好数据分析，要对数据分析的价值有清楚的定位。既不要神化数据分析，把它当做万能钥匙；也不要轻易否定数据分析的意义，弃之不用。数据分析应该对业务有实际的指导意义，而不应该流于形式，沦为单纯的 “取数”、“做表”、“写报告”。在 LinkedIn 那么多年的工作时间里面，我们对数据分析的工作早已有了清晰的定位：

利用（大）数据分析为所有职场人员作出迅捷、高质、高效的决策，提供具有指导意义的洞察和可规模化的解决方案

。

当时我们还采用了一套 EOI 的分析框架，对不同业务的数据分析价值有明确的定位。针对核心任务、战略任务和风险任务，我们认为数据分析应该分别起到

助力（Empower）、优化（Optimize）、创新（Innovate）

的三大作用。

（三）数据分析的商业模式

做好数据分析，要对企业的商业模式非常了解。数据分析的最终目的还是服务于企业的增长目标，所以务必要对行业背景、业务含义、产品和用户有着深刻的认知。

还是以 LinkedIn 为例，作为企业增长的重要环节，LinkedIn 在产品设计之初就优先考虑到了数据的价值模式。首先是用户的增长、使用和活跃，然后产生大量的数据，最后根据数据进行业务变现（企业广告、企业招聘、高级账号等）和用户增长，从而不断良性循环。

只有认可分析价值、明确工作定位、深谙商业模式，数据分析才能走在正确的轨道上。

二、数据分析方法论

（一）数据分析的框架

在整个数据分析框架中，用户是数据的来源，也是数据分析最终要服务的对象。整个分析框架可以分为四大层次，依次是：数据规划、数据采集、数据分析和数据决策。

从用户、业务系统，到数据采集平台、ETL、数据仓库， 再到分析、BI、DM、AI、洞察，再到决策、行为、价值，最终回到用户。

上面整个分析框架中，越底层的占用的时间和精力越多，而顶层的耗时较少。从产生的价值来看，越底层的产生的价值越低，越顶层的产生的价值越高。大家想一下就会理解，做数据分析的过程大多时间是耗费在数据采集、清理、转换等脏活累活上面，最有价值的分析和决策部分往往耗时很少。

因此，大家做数据分析应该把重心放在最有价值的分析和决策两个层面上，并且尽可能使用工具实现底层的自动化操作。

（二）数据分析的方法论

数据分析应该帮助我们不断优化营销、运营、产品、工程，驱动企业和用户的增长，而不是为了分析而分析。在这里我给大家介绍两个方法论，一个是业务上的 AARRR 模型，另一个是分析上的学习引擎。

AARRR 是著名的 Growth Hacker （增长黑客）海盗法则，依序分别是 Acquisition（获取用户）、Activation（激发活跃）、Retention（提高留存）、Revenue（增加收入）和 Referral（推荐传播）的首字母简称，覆盖用户整个生命周期。我们在进行数据分析的时候，应该考虑用户正处于 AARRR 模型的哪个部分、关键数据指标是什么、对应的分析方法又是什么？

“ 学习引擎 ” 是《精益创业》一书中提倡的精益化运营方式，在硅谷被大小企业广泛采纳。当我们有一个想法的时候，可以采用最简可行化产品（MVP）的方式将其构建（Build）出来。产品上线后，我们需要衡量（Measure）用户和市场的反应。通过分析收集到的数据，我们可以验证或者推翻我们之前的想法，从而不断学习（Learn）和优化。

（三）数据分析的具体方法

这篇文章的目的不是介绍具体的分析方法，而是为了让大家对整个数据分析能力体系有一个系统的认知，所以我就不对每一个方法进行具体的阐述。

懂得每一种方法的原理是一回事，在业务中灵活应用又是另外一回事。以产品经理为例，可以把“用户行为 – 数据分析 -产品设计 & 优化 ”三位归于一体，在不断的实践应用中掌握各种分析方法的精髓和要义。数据来源于用户，数据分析的最终目的也是服务于企业和用户。做数据分析之前，一定要清晰业务目的和数据指标，选择科学的分析方法，用数据来指导产品和用户增长。

三、数据分析工具篇

（一）为什么工具那么重要？

“ 工欲善其事，必先利其器 ” ！

整个数据框架下面的部分可能花费了 80% 的时间和精力，但是产生了不到 20% 的价值。大家都在搭建数据采集平台、都在写代码埋点、都在做 ETL、都在建 BI 系统，哪里还有更多的时间和人力来做 Analytics 和 Insight 。

以前市面上没有好的数据分析工具，大家都只能自己去部署很多的系统、建立很多的机制，甚至雇佣三四个团队去做一件事。

今天市面上有很多好的工具来帮助我们进行数据分析，为了节省时间、资源（特别是成长型企业），大家完全没有必要内部建造一套分析系统，应该擅用好的工具来帮助自己做数据分析。

（二）选择合适的分析工具

选择什么样的分析工具，跟你的工作岗位、分析场景息息相关。每种场景都有若干种工具可以选择，有些工具也可以用于多种分析场景，关键在于你对工具的熟悉和理解。

Excel 绝对是最基本、最常见的数据分析工具了，对于数据量较小的情况，无论是数据处理、数据可视化还是一些统计分析都能支持。一旦数据量大了，这个时候就需要大型的数据库来支持。

市场营销人员需要对广告投放进行数据分析，网站流量监测是他们关注的重点。产品和运营重点关注用户行为和产品使用，用户行为数据分析工具是他们的首选。

以前大家只关注业务数据，然而这些结果型的数据并不能告诉他们中间发生了什么、为什么发生；现在大家越来越关注精细化运营、对用户行为数据的需求也越来越高，这也是我回国创立 GrowingIO 的原因。

如果你能懂一些 R 和 Python，在数据建模、统计分析、数据科学的方向上有所发展，那么你的数据分析水平就更上一层楼了。

上面说的这三点构成了数据分析的能力体系。只有认同数据分析的价值、掌握数据分析的方法并且灵活应用数据分析工具，才能真正做好数据分析。

本文根据张溪梦演讲内容整理编辑。

作者：张溪梦，GrowingIO 创始人 & CEO

本文节选自 GrowingIO 2017 年第 3 期电子书《产品经理数据分析手册》

本文由 @GrowingIO 原创发布于人人都是产品经理。未经许可，禁止转载。

某矿泉水公司，除了依靠自身其特色产品之外，还狠抓数据管理，主要体现对经销商的营销方式、顾客的喜好、需求，他们都通过数据来进行分析。

在没有上数据分析平台之前，他们想知道怎样摆放水堆更能促进销售?什么年龄段的消费者在水堆前停留久，他们一次购买的量会是多少?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?

为了弄清这些问题，从2008年开始，他们的业务员就开始采集信息，如开始拍摄水怎么摆放、位置有什么变化、高度如何等等照片，每个月都会产生大概有3TB数据。对于这么多的数据，他们借助金金蝶BI-SpotView运营魔方制定数据管理平台，平台架构如下如下：

通过数据之后，实现产品精准营销，大大增强产品销售量，并且能够实时监控产品动态。

如图 （经销商分析）

除此之外，该公司还为了控制物流成本，提高企业的利润，把很多其它数据纳了进来，如：高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)等等

通过金蝶BI-SpotView运营魔方平台，进行数据分析处理之后，及时利用大数据，计算出一套最优的仓储运输方案，使各条线路的运输成本、物流中心设置最佳地点等信息及时呈现；将全国十多个水源地、几百家办事处和配送中心整合到一个体系之中，形成一个动态网状结构，进行即时的管控。

同时还把让退货、残次等问题与生产基地能够实时连接起来，通过数据准确获知该生产多少，送多少实现对产品精准预知与控制。最终解决了采购、仓储、配送这条线上的顽症，实现产品运输决策的智能科技化、物流成本的精准化、运输资源的配置合理化。

使用金蝶BI-SpotView运营魔方取得成效

有了强大的数据分析能力做支持后，他们运用大数据技术，销售、市场费用、物流、生产、财务等数据的计算速度，几乎做到实时计算，产品实时统筹计划，大大提高了产品销售额和市场占有份额，近几年更是以30%-40%的速度迅速增长。

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。

本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。

为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。

我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径，我添加了一组树图，相信会对你找到正确的途径有所帮助。

注释：学习之路树状图

在这个树状图的帮助下，你可以根据你的兴趣和目标选择路径。 然后，你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字，下载高清版本。

目录表

1.如何开始？

2.在大数据领域有哪些职位需求？

3.你的领域是什么，适合什么方向？

4.勾勒你在大数据领域的角色

5.如何成为一名大数据工程师？

o什么是大数据行业术语？

o你需要了解的系统和结构

o学习去设计解决方案并且学习相关技术

6.大数据学习路径

7.资源

1.如何开始？

人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和MapReduce计算框架组成的，他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性，因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。）, 分布式计算，Kafka（Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统）,NoSQL（泛指非关系型的数据库）还是Spark（Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处）？”

而我通常只有一个答案：“这取决于你究竟想做什么。”

因此，让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。

2. 在大数据行业有哪些职业需求？

在大数据行业中有很多领域。通常来说它们可以被分为两类：

大数据工程大数据分析这些领域互相独立又互相关联。

大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需要去设计和部署这样一个系统，使相关数据能面向不同的消费者及内部应用。

而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

因此，简而言之，大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。

3.你的领域是什么，适合什么方向？

现在我们已经了解了行业中可供选择的职业种类，让我们想办法来确定哪个领域适合你。这样，我们才能确定你在这个行业中的位置。

通常来说，基于你的教育背景和行业经验我们可以进行如下分类：

教育背景（包括兴趣，而不一定与你的大学教育有关）

计算机科学数学行业经验新人数据学家计算机工程师（在数据相关领域工作）因此，通过上面的分类，你可以把自己的领域定位如下：

例1：“我是一名计算机科学毕业生，不过没有坚实的数学技巧。”

你对计算机科学或者数学有兴趣，但是之前没有相关经验，你将被定义为一个新人。

例2：“我是一个计算机科学毕业生，目前正从事数据库开发工作。”

你的兴趣在计算机科学方向，你适合计算机工程师（数据相关工程）的角色。

例3：“我正作为数据科学家从事统计工作。”

你对数学领域有兴趣，适合数据科学家的职业角色。

因此，参照着定位你的领域吧。

（此处定义的领域对你确定在大数据行业的学习路径至关重要。）

4.根据领域规划你的角色

现在你已经确定了你的领域，下一步，让我们规划出你要努力的目标职位吧。

如果你有卓越的编程技巧并理解计算机如何在网络（基础）上运作，而你对数学和统计学毫无兴趣，在这种情况下，你应该朝着大数据工程职位努力。

如果你擅长编程同时有数学或者统计学的教育背景或兴趣，你应该朝着大数据分析师职位努力。

5.如何成为一名大数据工程师

让我们先定义一下，一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则，你将一直盲人摸象。

为了明确你的需求，你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么？

5.1 大数据术语

大数据工程通常包括两个方面 – 数据需求以及处理需求。

5.1.1 数据需求术语

结构：你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型（即拥有架构）中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型，则称为非结构化数据。（种类：结构化/非结构化）。

容量：我们用容量来定义数据的数量。（种类：S/M/L/XL/XXL/流）

Sink吞吐量：用系统所能接受的数据率来定义Sink吞吐量。（种类：H/M/L）

源吞吐量：定义为数据更新和转化进入系统的速度。（种类：H/M/L）

5.1.2 处理需求术语

查询时间：系统查询所需时间。（种类：长/中/短）

处理时间：处理数据所需时间。（种类：长/中/短）

精度：数据处理的精确度。（种类：准确/大约）

5.2 你需要知道的系统和架构

情节1的解决方案：销售数据池

（这是我的个人解决方案，如果你想到一个更高明的解决方案请在下面分享一下）

那么，一个数据工程师会怎样解决这个问题呢？

需要记住的一点是，大数据系统的目的不仅仅是无缝整合各种来源的数据，而使其可用，同时它必须能使得，用于开发应用系统的数据的分析和利用变得简单迅速和易得（在这个案例中是智能控制面板）。

定义最后的目标：

1. 通过整合各种来源的数据创建一个数据池。

2. 每隔一定时间自动更新数据（在这个案例中可能是一周一次）。

3. 可用于分析的数据（在记录时间内，甚至可能是每天）

4. 易得的架构和无缝部署的分析控制面板。

既然我们知道了我们最后的目标，让我们尽量用正式术语制定我们的要求吧。

5.3.1 数据相关要求

结构：大部分数据是结构化的，并具有一个定义了的数据模型。但数据源如网络日志，客户互动/呼叫中心数据，销售目录中的图像数据，产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。

结论：结构化和非结构化数据

大小：L或XL（选择Hadoop）

Sink 吞吐量：高

质量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 处理相关要求

查询时间：中至长

处理时间：中至短

精度：准确

随着多个数据源的集成，重要的是要注意不同的数据将以不同的速率进入系统。 例如，网络日志可用高颗粒度连续流进入系统。

基于上述我们对系统要求的分析，我们可以推荐以下大数据体系。

6.大数据学习路径

现在，你已经对大数据行业，大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。

我们知道大数据领域充斥着多种技术。 因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。

下面你会发现一个你应该通过的树状图，以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项，但是如果你走上一条路，知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。

任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。

核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。

因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。

接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。

接下来，你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。

好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：大数据 ，获取更多学习大数据的资源，如果文章对你有有帮助，

请收藏关注，在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。

旅游大数据分析系统的搭建，需要先弄清楚旅游大数据分析系统有哪些组成部分？

对于整个数据分析体系来说，旅游限定的是具体的行业，这代表我们需要去了解旅游行业可以关注哪些数据指标，使用什么样的方法进行分析。

而大数据分析系统更多的指的是技术层面的问题，使用什么样的技术、能够把行业的数据进行收集、存储、分析、展现。

所以对于这个问题，可以从这两个方面分别来阐述：

一、旅游行业应该关注哪些指标？

我以一个省的旅游数据为例，那么可以分析的指标有：

省旅游收入分析（包括收入金额、增长率、与全国收入增长率对比）省内旅游情况分析（包括星级饭店总数、国内游客数、入境游客数、入境过夜游客、游客消费水平、旅行社数、旅游从业人员等）入境游客量分析（国外游客数、港澳同胞数、台湾同胞数、及其对应的增长率）旅游收入分析（商品销售、长途交通、住宿、景点门票、餐饮、邮电通讯）酒店分析（按客房数的多少可以分析出现阶段适合发展的酒店形式，是连锁酒店还是民宿更合适）

综合以上分析，就可以得出该省下一阶段在旅游方面应该去重点关注的地方，给规划提供判断依据。

二、大数据分析系统

大数据分析系统或者说大数据平台，其整体架构如下图

从底层逐步往上，如图所示表示这么几个环节：

1.业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。当然你还可以通过一些公开的数据源或者爬虫去获取一些外部数据，来弥补你自身数据不足的现状。

2.数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。此处的Kettle只是ETL的其中一种。

3.数据存储：指的就是数据仓库的建设了，此处相对复杂，我不再赘述，大家可以详细看下图中『数据仓库层』这部分。

4.数据共享层：表示在数据仓库与业务系统间提供数据共享服务。不论是Web Service，还是Web API ，都代表的是一种数据间的连接方式。

5.数据分析层：分析函数这部分大家都能理解，就是数学上的各种公式，比如聚类分析、回归分析等等。

列存储使得磁盘的每个Page仅仅存储来自单列的值，而不是整行的值。因此，压缩算法会更加高效，因为它们能够作用于同类型的数据。再说的简单点，可以减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。整体上来说，通过这两种技术，可以大幅度提高数据分析的效率。

而Yonghong MPP应该是目前做列存储和分布式最好的产品。

6.数据展现：分析的结果通过什么样的形式去呈现，说白了就是数据可视化的工作。这部分推荐用敏捷BI类的产品，区别于传统BI，它能通过简单拖拽的方式就生成报表，比较节省时间，学习成本相对较低。国内的敏捷BI中，个人用户推荐Tableau，企业级需求推荐Yonghong BI 。

7.数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。当然也有C/S架构，通过客户端去查看。相对来说，B/S架构会比较便捷，更适合现在很多人用手机办公的需求，打开个网页就能看到数据。

以上是大数据分析系统搭建的架构概述，其中每一步都可能要涉及一些产品、技术以及具体的实施。

所以想要做好旅游行业的大数据分析系统，不仅要了解分析系统的技术层面的问题，也要了解旅游行业的业务，这样才能让数据发挥更有效的价值。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。

为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍ApacheMesos及YARN：

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapReduce1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...