云平台

一、大数据云平台应当具备

Real time 实时

海量实时计算

数据实时录入

动态实时标签

平台实时监控

数据实时应用

Efficient 高效

一键高效部署

数据高效整合

资源高效分配

模型高效计算

Control 监控

硬件监控

系统监控

数据监控

安全监控

权限监控

Value 价值

数据安全高

软硬件成本低

执行时间少

数据价值大

二、分布式数据系统

以数据价值和平台服务为导向，集成数据接入、整合、存储、计算和监控的分布式数据系统。

三、体现核心优势

数据接入

快速地整合同步存储在不同类型数据库中的数据，解决生产环境中ORACLE、MYSQL、文本、日志等主流数据库的结构化数据和非结构化数据的同步问题。

数据存储

建立分布式存储、分布式内存计算、分布式索引等技术，解决传统数据库面临的数据增长问题，可不停机情况下动态扩容。所有数据自动备份，不再需要混合架构，不再需要多数据库集群。

平台管理

为了更好地让开发及业务人员操作方便，提供数据查询、算法仓库、数据脱敏、监控预警、系统管理等可视化配置界面。

计算平台

集成交互式SQL、实时数据检索、机器学习、内存计算、流式计算、全文检索等技术，实现多数据源、多数据场景及多数据模型的联合计算平台，比传统型数据仓库和开源版分布式架构计算效率提升5-10倍。

四、技术提升点

批量数据导入效率

多线程并发抽取，缩短抽取时间，抽取效率提升约100%。如：400张表（5G数据容量），单线程串行抽取耗时约2个小时，8-16线程并发抽取耗时约1小时10分钟；

数据库整库抽取，数据源统一配置修改，提升部署效率（五分钟即可完成整库的数据抽取任务与定时调度任务的部署）。

流数据效率

支持按时间与按大小分隔当前输出日志，实现准实时的读写分离，提升日志提取实时率。可将日志实时同步率由T+1提升至毫秒级。

数据同步

支持Oracle数据库到Hdfs、Hbase的实时数据同步，同步时间可达到毫秒级，对Oracle源系统性能影响在0.01%以下；

支持Mysql数据库到Hdfs、Hbase的实时数据同步，同步时间可达到毫秒级，对Mysql源系统性能不受任何影响；

支持Nosql、内存数据库、网络爬虫、文件数据、第三方数据的同步及导入功能。

SQOOP功能

处理原sqoop组件无法抽取的oracle含有clob与blob字段的数据表的问题。抽取数据覆盖率提升至98%；

自动化重启因为jobFailed引起的抽取报错的数据表的抽取进程。数据抽取容错率提升10%；

同时支持Hive与hbase两种导入格式，可配置具体抽取方案。抽取数据的准确率提升至97%。

Flume功能

支持多台服务器日志，以及同台服务器多份日志的同时收集功能；

提供小文件的自动合并功能。优化HDFS文件存储，与任务执行效率，存储优化约节约90%的文件存储空间，降低90%的mapReduce任务数。

Hcinload功能

支持Oracle、Mysql、MongoDB、DB2、Txt、Csv、Http等多数据源批量、实时同步功能，并实现多数据源、多数据格式同时并发的实时导入；

支持百度统计、GA、微信等第三发平台的数据对接和导入；

支持WEB、APP端采集的网页数据、网站行为数据、APP数据的采集、实时同步功能。

Yarn

提升mapReduce运行效率；

提升资源调度效率；

提高磁盘容错率；

提升metadata的稳定性。

HDFS

提升hadoop原生系统稳定性，有连续有效运行时间超过700天的实施案例。

优化HDFS中文件块的存储规则，系统整体容错性提升10%、任务运行效率约提升15%、网络传输消耗约降低15%。

HIVE

提供稳定的hive-jdbc程序调用接口，解决原hive-jdbc接口12次调用约有一次失败的问题，容错率提升8%；

与Hbase进行整合，hive-sql的数据结果准确度提升至95%；

根据不同情况分配不同的mapReduce设置参数，提升hive-sql运行效率，运行效率约提升20%。

Hbase

提升高效的key-value形式的数据调用效率，支撑大并发的前台应用。可支持每秒十万并发调用下的毫秒级数据返回；

提供较高数据完整性与一致性的数据存放，与hive整合，提供hive调用hbase数据功能，数据准确率提升至97%，hive-sql的数据结果准确度提升至95%；

根据需求提供高效的hbase二级索引功能。提高复杂查询需求的查询效率。约提升查询效率40%。

Hcupload

支持60M/S的HDFS、HIVE、Hbase、Mysql、Redis等多数据载体的数据写入效率；

按时间、大小、行业及职能等不同方式分隔当前数据，实现实时数据分类后上传；

提供小文件的自动合并功能。

ZooKeeper

优化zookeeper主从选举机制；

提升分布式数据更新效率与一致性。

Gum

适用所有类型样本分布规律，包括非高斯分布、不均匀密度、复杂高维空间的模型支持；

提升算法在不同类型样本下的鲁棒性、抗噪音和异常值，算法适用性和稳定性提升10倍；

算法准确率提升85%；

算法运行时间平均缩短46%。

五、核心能力目标

日均10亿条数据实时处理能力；

累计5PB数据存储与计算能力；

上千台分布式集群连续3年不间断运行能力

谢谢！

|本文由好程序员特训营编辑

|作者：好程序员

云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。云计算平台服务明显特征：

(1)服务无处不在 用户只需要一台具备基本计算能力的计算设备以及一个有效的互联网连接，就可以随时随地使用该服务。从这个意义来讲，任何联网的应用，都具备成为云计算平台的潜力。

(2)具备进入成本 用户具备使用该服务的需求，但是并不具备独立提供该服务的经济或者技术条件。譬如说某些企业需要定期地进行大规模的运算，但是并不值得专门为此购置一台具备大规模运算能力的计算设备。超算中心通过发展客户群让多个用户来分担超级计算机的成本，使得其用户能够在不拥有计算设备的情况下以较小的成本完成计算任 务。

(3)用户决定应用 云计算平台提供计算能力(包括处理器、内存、存储、网络接口)，但是并不关心用户的应用类型。用户利用云计算平台所提供的计算能力，并且充分考虑云计算平台所设定的(技术和经济)限制，开发出丰富多彩的应用。满足如上几个条件的云计算平台，又可以按照其所提供服务之层次细分为基础设施服务(IaaS，例如 在线存储和数据库服务)、平台即服务(PaaS，例如AMP虚拟主机和Java EE应用服务器容器)和软件即服务(SaaS，例如Google Docs)。很多厂商在提到云计算的时候，往往会同时提到分布式计算(Distributed Computing)、并行计算(ParalleComputing)、网格计算(Grid Computing)、实用计算(Utility Computing)等等概念。事实上用户并不关心这些五花八门的新名词，他们所关心的仅仅是某项服务是否可用以及使用该服务所需要的成本。说得难听点，这些概念仅仅是云计算平台提供商在创建云计算平台时才需要了解的技术细节，它们可以被认为是云计算的表象，但并不是云计算的本质。