1数据星河大数据平台

全球首款大数据产业链生态平台，大数据界的App store。

实现数据模型、可视化引擎工具、应用场景、采集爬虫工具、清洗脱敏工具、数据分析平台、数据开发平台、数据管理平台、数据安全组件等大数据资产的分类展示、检索和使用。

一站式服务，快速实现大数据应用设计，同时可在平台进行应用产品交易。

2大数据可视化平台

标准的、友好易用、具备丰富展示形式、与底层数据分析实现解耦。

提供丰富的专业级可视化图表组件，在线进行图表配置、导出，提供使用指导。

提供可视化产品工厂，以及Dashboard自定义布局。

具备可视化编程能力，供用户快速开发可视化图表应用。

3企信宝APP

拥有约9000万海量企业信息数据。

提供失信企业及失信人查询及公布失信榜单，全国各企业查询，股东高管数据挖掘，企业网站地址查询，企业风险信息监测。

4农业大数据平台

涵盖农业监测预警大数据平台、农产品全产业链追溯预警大数据平台和农业产业链企业信用大数据平台。

覆盖农林牧副渔各行业，贯穿农业生产经营管理服务全过程。

目标群体包括部级农业部门、地方农业部门、涉农企业、农业金融机构等。

5金融大数据——54个九宫格小场景

九宫格应用场景包含四大类别，分别是基础数据库类、决策类、预测类、预警类，基础数据库类场景满足客户对基本数据的查询，决策类场景助理用户根基数据分析得到的价值信息进行有效决策，预测类场景便于用户对于潜在的风险及时规避。同时，用户可以根据自身需求进行场景化自定义组合，以满足个性需求。

6工商大数据平台

包括工商大数据分析展示、企业信用信息大数据监管和市场主体全景谱图大数据分析服务。

一网、一库、一中心、一平台、一门户，提升工商公共服务能力、市场监管能力、辅助决策能力和助推发展能力

7食药监大数据平台

对食品、药品、餐饮、中药材的生产、仓储、分销、物流运输、市场巡检及消费者等信息，以及产品名称、执行标准、配料、生产工艺、标签标识等数据，进行采集、跟踪、分析。

使监管部分实现产品种养、生产、销售、流通、公众服务、物流等环节的整个生命周期的监管

通过互联网等途径，实时呈现给消费者，实现食品药品全过程的全知晓。

8旅游大数据平台

显示最直观的客源、客流、经济收入数据、履约企业运营趋势、市场景气指数等指标。

管理部门可以从宏观角度了解地区旅游产业的整体发展水平和竞争力，辅助管理者制定基于大数据的行业发展决策。

所有数据来源于近五年累计数据（2011-2017），每周更新。

9民意云大数据平台

从海量的数据中分析民意诉求，精准分析民意热点——这是大数据在服务民意诉求中的重要作用。九次方民意云大数据平台，通过提供大数据操作台，方便用户实时全面了解区域内民意变化，根据推送消息进行应急反应。

10传播力监测大数据

根据全网采集的文章标题、作者、来源、时间等信息，计算文章的规范被转载量、非规范被转载量、以及文章的影响地域分析，并将各指标进行加权算法，帮助没提了解具体文章的全网传播详情。

协助监管部门加强没提传播监管和提升媒体机构的传播咯、公信力、影响力和引导力。

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

从底层逐步往上，如图所示表示这么几个环节：

一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。

二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。

三、数据存储：指的就是数据仓库的建设了，简单来说可以分为业务数据层（DW）、指标层、维度层、汇总层（DWA）。

四、数据共享层：表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API ，代表的是一种数据间的连接方式，还有一些其他连接方式，可以按照自己的情况来确定。

五、数据分析层：分析函数就相对比较容易理解了，就是各种数学函数，比如K均值分析、聚类、RMF模型等等。

列存储让磁盘中的各个Page仅存储单列的值，并非整行的值。这样压缩算法会更加高效。进一步说，这样能够减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常大的算力才能解决的问题分成很多小部分，接着把这些部分给到许多计算机同时处理，然后把这些计算结果综合起来，得到最终的结果。

综合这两种技术，就能够大幅度提高分析环节的效率。Yonghong MPP可以说是目前在这两方面做的最出色的了。

六、数据展现：结果以什么样的形式呈现，其实就是数据可视化。这里建议用敏捷BI，和传统BI不同的是，它能通过简单的拖拽就生成报表，学习成本较低。国内的敏捷BI中，个人用户推荐Tableau，像银行这类的企业级需求推荐Yonghong BI 。

七、数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。

二、银行数据分析体系如何搭建？

搭建一个数据平台可能是项目制的工作，在一段时间内会完成，但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时，将金融行业同类的数据应用经验也分享给你，帮助你去搭建数据分析体系，那就是真正的“良药”了。

下面分享一个YonghongTech帮助某大型银行数据服务平台建设的案例。

以客户在银行办理业务的行为路径，可以有这样几个主题，不同主题有对应的场景及其指标。

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

三、案例

鉴于篇幅问题，此处可以参考这篇文章：

华夏银行：大数据技术服务业务需求，实现销售高速增长

http://.baidu/builder/preview/s?id=1600613969915764917

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

每一次研究机构的调研报告总是能爆出大新闻。这不，在最近一期IDC MarketScape的中国大数据管理平台厂商评估中，将华为FusionInsight评为领导者象限第一名。这次评奖，简直是对中国大数据管理平台的整体扫描和嘉奖，当然也是对华为的肯定。

那么问题来了，从这个报告中，我们能看出哪些趋势，华为为何领跑？

10家企业，评估的标准

IDC MarketScape中国大数据管理平台市场评估报告

先上一张图，这次评选的厂商有综合类ICT厂商：华为、星环科技、新华三、浪潮、中兴等；互联网厂商：阿里云、腾讯云；数据商：Cloudera、Teradata，以及中国电信。

此次入选IDC评估厂商的标准是收入1000万，有10个以上案例。IDC评估大数据管理平台中涉及到的核心组件以及平台安装部署、运维管理等支持性功能组件，也评估平台对于分析预测、认知工具的支持能力。

综观这些标准和权重数值，可看出IDC注重的是技术能力、战略的长远发展以及应用情况。这也不难理解。任何产品平台都是在众多技术中选择、优化，考验的是持续的研发能力、技术和解决方案的产品能力和对客户的理解能力；而战略则是对客户负责任，能否长期坚持投入，不断明确自己的线路。应用则是落地能力、服务能力和对具体场景的理解能力。

在此报告中，华为FusionInsight成为领导者象限第一名，这意味着华为FusionInsight的技术能力和战略能力领跑市场。不由想起在今年2月，华为的FusionInsight进入Gartner数据分析解决方案的特定领域者象限中。这份“Magic Quadrant for Data Management Solutions for Analytics”报告主要是针对数据管理，处理和分析的各类解决方案，包括传统的数据仓库，以及新的云上大数据解决方案。

由此可见，华为的FusionInsight正是在领先技术、深刻行业理解力和完善生态布局等的助推下，逐渐在行业中崭露头角，一步步走到了行业的前列。

技术领先性

华为FusionInsight是一套大数据管理平台，由4个子产品FusionInsight HD/FusionInsight LibrA/FusionInsightMiner/FusionInsight Farmer和1个操作运维系统FusionInsight Manager构成。这套解决方案是华为三四年前开始大力推广的，隶属IT产品线。

华为之所以能获奖的第一个优势在于，技术能做到极致。这个解决方案由4个部分组成，每一部分在例如数据的收集、整理、脱敏、分析和管理、安全等都做到了极致，符合不同场景下的需求。而且，加上人工智能（深度学习算法和其他机器学习等）的应用，确保华为FusionInsight的领先性。

这种技术能力和一般性泛泛而做一个大数据平台不同，而是在每一个功能中都突出，既可以单独使用，也可以搭建而成平台。更为重要的是，在这些技术中，华为率先利用了最新的人工智能技术。

而且，仅仅是FusionInsight就有350+专利技术，其中还有多项业界领先和独创技术，100%兼容标准SQL；统一数据格式CarbonData、实时决策引擎RTD、图分析引擎EYWA等、可以满足企业传统业务数据迁移、数据融合查询、业务实时决策、快速多层次分析、海量结构化数据分析等需求。

举一个例子。OCR看起来是一个细分的小市场，其实是数据收集和整理的一个重要入口，在医疗、海关、物流、金融、传统制造业等领域广泛应用。华为在OCR方面技术方面包括图像预处理、深度学习文字定位和文字识别引擎以及后处理纠错模块三部分。在基于视觉注意力的深度学习文字识别技术中，采用视觉注意力模型（CNN+LSTM+Attention技术），该模型首先在图像上采用滑动窗口CNN（Convolutional Neural Network，卷积神经网络）的方法进行图像特征提取；然后在CNN的顶部堆叠一个LSTM（Long Short-Term Memory networks，长短期记忆网络）进行序列特征提取；最后，使用注意力模型作为解码器输出最终的文字序列。

有了技术作为底蕴，这让华为大数据管理平台率先起跑的关键因素。

理解客户和服务行业的能力

有了这些人工智能能力的融入，能帮助华为在产品和解决方案中迅速胜出。但是，理解客户，深入到各行各业中，才是至关重要的。

从数据来看，华为大数据解决方案被60%的中国Top10银行，50%全球Top50的运营商和30%的政府平安城市项目所选择，服务于全球40多个国家和地区的700多家客户, 拥有300多个商业合作伙伴，已广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个领域。

再举例，FusionInsight RTD 平台推出后即受到国内某大型银行的欢迎。其极低的学习成本使得业务人员经过两天的培训后，在一周之内写出上百个业务规则。不仅如此，FusionInsight RTD完整的集群管理方案，如主备，给系统维护任意留下灵活的操作空间。该行在零售平台的短暂试用之后，很快扩展到信用卡等其他渠道，经过两年的稳定运行，被该行定位为全行级明星项目，得到了高层领导的高度好评。

除了在银行领域，RTD在某千亿级全球电商平台承担着保驾护航的关键角色，在短短的3个月内，该项目从调研到实施落地，每天经历数十亿次的实时风控决策请求。

可以稍微点一下客户名称：交科所综合研判大数据平台、西安城市大数据、深圳智慧龙岗、山西省交警大数据平台、通州视频云大数据平台、湖北气象局等等。这基本都是传统行业中，对大数据有求较高，和业务紧密相联系的一些政企用户。能了解这些用户的需求，证明华为对行业的理解能力和服务能力。

共同繁荣生态圈

在IDC的报告中，特意指出战略能力的权重，认为这是确保平台延续性的重要指标。在这个战略中，其实有很大一部分是构建生态圈，也就是说如何基于自己的能力和行业的发展结合起来，既能确保技术赋能，还能确保生态圈共同繁荣。

以技术生态为例。华为一直秉承“源于开源、强于开源、回馈开源”的理念，在Hadoop社区的贡献排名全球第3，华为贡献给Apache社区的开源项目CarbonData从Apache孵化器毕业，于2017年4月正式成为Apache顶级项目（TLP）。华为在全球多个地区设有OpenLab，支撑与客户、合作伙伴在云和大数据方面的联合创新，确保方案的预研、开发和实际运行。

华为还找了各个行业顶尖的ISV，共同面对客户联合开发解决方案，在大数据领域持续研发，为广大客户提供更好的服务，打造繁荣的生态圈。

从这个趋势看，华为领跑大数据市场，代表了整个大数据市场的进一步繁荣，这是站在云、人工智能和物联网成熟的基础之上。而华为自身的技术底蕴，对单项技术的不断突破和压强式的投入（资金、人力等），确保技术领先性；只有在这个基础上，华为不断深入行业，了解客户需求，与合作伙伴共同联合开发，顺理成章成为行业的领导者。

所以，读懂华为大数据战略，就懂得整个行业的趋势。

马总说过这是一个DT的时代，一个从IT到DT转变的时代。确实这几年到处都能听到诸如“云计算”、“大数据”、“上云”的谈论，确实随着云计算的兴起，依托于相对低成本、高稳定性的云设施构建平台的成本越来越低，越来越多的公司都在推数据相关的平台、产品。如阿里、京东、百度、腾讯，以及一些打着大数据旗号的创业公司都有出自己的数据平台和产品，用户依托于平台确实大大降低了数据处理、使用的难度，降低了从数据挖掘价值的时间成本。于此同时，平台架构的变迁也成为备受关注的问题。今天我们就来看看有哪些大数据的平台架构你不知道。

489034603

一、首先是数据方面（大数据时代以数据为主导）：如何进行模型分层？一般模型分层计算程序，以哪种语言为主？

从数据仓库 或 大数据平台 的角度来讲，数据的分层，大体有两种思路：

a) 基础数据层：主要避免后续数据应用层的大变更。一般面向各业务系统或数据源集，利用业界较为先进的数据模型（如FS-LDM），按数据的特性（即数据驱动）进行数据的整合,以形成相对稳定的基础数据模型层。

b) 应用数据层：一般是面向各应用需求 或 业务用户，利用业界较为合理的数据模型理念（如星型\维度模型），按需求的要求（即需求驱动）进行数据的分布，以形成统计方便、展示友好、满足需求的应用数据模型层。

在数据流向 或 数据处理的过程中，所使用到的语言或方式可能更多的是以下两大类：

a) 基于传统数据库：大多采用ETL的方式，进行数据的抽取、清洗、整合；这中间，可能会利用到类似DataStage，Kettle等工具，用得最多的，可能就是各数据库提供的SQL语言了，SQL语言使用简单、方便、学习门槛较低，且易于掌握。

b) 基于大数据平台：大多采用的开源的工具 或 语言，如Hive, Hbase , Spark,Python等。这里面，可能使用更多的是Hive 与 Python， 这两个工具学习简单，易于掌握，并且，进行数据处理时，也更直观、方便。

二、架构方面：在架构过程中，一般以7点展开，如：

a. 存储和计算都基于HIVE；

b. GREENPLUM作为HIVE的“cache”存在，供用户做一些小数据的快查询，报表存储；

c. 调度：和canaan框架进行整合，支持用户快速新增任务，并自动导入任务依赖；

d. 主数据：保存了数据仓库元数据信息，供用户查询和系统内部各个模块交互；

e. ACL：构建了数据仓库数据访问权限控制，包括用户权限申请、审批者审批、数据赋权等；

f. 传输；

g.监控：由于任务数量增长较快（2000+），运维已经是个问题此外，需花了较大精力做了可视化的工作：

有些朋友不认为Hive是一个数据库，认为Hive是一个类似传统数据库的SQL引擎的工具，虽然Hive有自带的元数据存储库，但这个库里面，也只是存放了Hive工具为完成用户提交的请求而必须要的Hadoop的元数据信息 及两者的映射关系数据；并没有存放用户的任何数据，用户的数据还是存放在Hadoop或Hbase等文件系统或数据库中。

在以上这7点中，最难的就是：数据治理 与 系统监控 这两块

三、数据应用：数据一般以哪种形式，呈现给用户？技术上是通过哪些策略实现？

数据应用主要分成两大类：

a) 面向业务人员：一般是自行研发一个界面美观的WEB应用，调用业界成熟的工具（如MSTR,COGNOS)的API，实现数据展示给终端用户进行查看。

b) 面向IT专业人员：一般是直接从数据库/文件系统中，借助SQL或其它的开源工具，直接查询、统计、分析、挖掘；这样会更直接、更方便。

以上这些可供大家测试一下，有哪些知识是自己还不熟练的，可以再学习，个人观点不喜勿喷，谢谢大家。

另外，如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

近日，新华三集团在“H3C Navigate 2017”领航者峰会上发布了大数据系列产品数据引擎1.0，正式进军大数据行业，并提出“要做国内最好的大数据平台”的目标。

自从2016年5月成立以来，新华三的战略布局始终聚焦一个“新”字。在计算、网络、存储为主的传统IT架构基础上，新华三提出了“三大一云”的新IT战略，要做融合了大数据、大安全、大互联和云计算在内的全方位一站式服务提供商。

那么，作为其战略核心的大数据业务定位是什么？核心竞争力与战略规划又是什么？从趣味科技对新华三集团副总裁、大数据产品线总裁孙德和的采访当中，我们可以细细解读新华三大数据业务在战略、打法和产品上的独特之处。

定位全行业的大数据服务平台

目前国内做大数据业务的公司已达数千家，包括各类软件商、平台商、工具商，但是大部分还局限于互联网。针对行业客户的海量结构化、非结构化数据的专业服务，则为数不多。

新华三大数据业务的定位非常清晰，就是做大数据平台和数据服务，服务范围是全行业。相比应用开发和硬件，做平台对企业技术实力要求很高，需要庞大的研发团队，需要对技术、研发的长期持续投入。“未来，做平台一定是有实力的公司才能参与竞争，而新华三有这个实力。”孙德和说道。

在技术研发方面，新华三实力不容小觑。据了解。此次领航者峰会上发布的大数据产品，前期的研发周期已经运作了2-3年，并且已在多个行业收获了成功实践的案例。

ISV策略：聚焦细分行业TOP3

做平台，关键在于对行业客户及产品有充分的了解并满足其需求。开放平台的定位，决定了新华三的大数据业务与ISV（应用开发商）有着很强的互补关系。“新华三的平台就是把新IT的技术架构，包括云的架构，一直到大数据服务平台形成一个大的平台。将来的应用合作伙伴可以基于我们的平台，再基于客户的需求去开发应用。”孙德和介绍道。

新华三的大数据战略是跟细分行业的领先应用开发商进行合作。TOP ISV显然更懂行业客户的业务逻辑，能够满足客户的需求。新华三负责利用大平台的规模化优势，做行业共性的数据服务。接下来，为客户定制专业化的应用就交给各个ISV合作伙伴。

H3C Data Engine数据引擎1.0

此次新华三发布的数据引擎1.0产品Data Engine，包括了基础计算平台、数据服务（智能化数据采集和处理）、创新应用开发平台以及数据视觉引擎等核心组件。其中，创新应用里涉及人工智能的部分功能，包括深度学习、机器学习等，旨在帮助应用开发商构建基于大数据、基于人工智能的应用。

不久前，在全国信标委大数据标准工作组主持的全国首次大数据系统通用规范测试中，Data Engine以最短的耗时通过了全部71项测试用例，从几十家申请测试的大数据产品中脱颖而出。测试中，Data Engine展示了其支持单集群100节点、数据量超过1PB以及内外网隔离的大数据服务能力。

据透露，新华三的大数据平台已经得到了政府、公安、教育、医疗等各行业客户的青睐并被广泛应用。

在孙德和看来，丰富的产品线、覆盖最广的IT销售体系、广泛的行业客户群和优秀的产品平台，是新华三大数据业务的核心竞争力，也是做国内最好大数据平台的信心所在。

遍布全国的新IT版图

目前，新华三“三大一云”的IT版图已经初步完成，包括坐落在郑州的大数据公司，落在成都的云计算公司和合肥的大安全公司。郑州大数据中心以研发为主，预计规模将达到800-1000人，将为客户提供整合交付的数据服务。

随着城市化的加速和大数据产业的发展，数据已经成为国家重要战略资源之一。在打造数字化城市、新型的智慧城市的进程中，新华三已经做好了准备，希望通过大数据平台构建城市数据引擎，融合高校、企业、政府的资源，共同围绕着城市的一些关键业务问题去开展课题研究。

根据中国信息通信研究院的调研测算，2016年我国大数据核心产业的市场规模达到168亿元，增速达44.9%，预计2017-2018年还将维持40%左右的高速增长。

在互联网、C端大数据和公有云蓬勃发展的同时，如何满足行业客户的大数据需求，是目前阶段大数据产业发展的重点。新华三瞄准行业大数据这个契机，以大平台的定位切入，为大数据产业上下游打造了一个开放共赢的数据生态。

2018年，全国政协委员、蒙草生态董事长王召明第六次参加两会，来自内蒙古的他，今年的提案依然是关于草原与生态。在做客新华网两会特别访谈时，他将提案作了个形象的比喻：草原生态大数据就是对每个地区的情况有了准确的了解，就像是人们的健康体检一样，体检完以后知道什么指数高了，常规值是多少，现在高了多少，现在应该降多少，可以精准地修复。

▲王召明董事长做客新华网“2018全国两会特别访谈”

“构建‘国家草原生态大数据平台’”这一提案的背后，是蒙草草原生态大数据平台的经验与累积。

草原生态大数据平台是什么？

草原生态大数据平台依托互联网、云计算、物联网、 3S技术，结合实地监测，整理收集大生态相关数据，进行生态资源整合、共享交换与应用，建立指标分析模型，分析生态演变驱动力，为生态可持续发展提供数据支撑，实现人在干、数在转、云在算。

▲蒙草草原生态大数据平台系统截图

草原生态大数据平台解决什么问题？

1、保护草原生态。

草原生态大数据平台覆盖内蒙古自治区全域118万平方公里，可追溯到近50年间水、土、气、草、畜的30多个维度的生态指标变化，作为本底数据积累，运用科学的数据储备和分析集成，对草原基础生态数据及各类草原资源进行科学管理，最大限度地平衡生产、生活与生态之间的关系，在为牧民生产、生活提供便利的同时，更好地保护草原生态。

▲蒙草草原生态大数据平台草原生态保护功能的主要模块

2、指导生态修复。

依托草原生态大数据平台的经验，从水、土、气、人、草、畜等方面对一个区域的生态现状进行精准评估，制定出精准的修复方案及实施办法，并进行有效的效果检测和后期评估，也便于改进生态修复方法。

▲蒙草草原生态大数据平台指导生态修复模式图

▲蒙草草原生态大数据平台生态修复界面

3 、优化畜牧业结构。

放牧管理 舍饲管理 出栏管理

畜种管理 家畜特征 屠宰场管理

▲蒙草草原生态大数据平台草原畜牧业界面

4、引导科学种植。

种植管理

种植选址 种植技术 适合品种

地块管理

地块面积测算 土地确权管理

种植作物与产量统计

作物管理

作物长势评估 作物生长周期计算 田间管理

▲蒙草草原生态大数据平台科学种植界面

5、指导产业决策。

草畜企业分布 企业资源互通

生态地标挖掘 产业规划与升级

▲蒙草草原生态大数据平台产业布局界面

草原生态大数据平台的应用如何？

依托着蒙草团队的技术优势和行业技术整合能力，草原生态大数据平台经过 2 年的实践，已然成为国内草业大数据垂直领域领军者。目前，平台已经服务了内蒙古自治区，西藏自治区，陕西省等区域的政府及农牧业主管部门，专业性方面广受行业用户好评。

1、大数据 + 生态。

以呼伦贝尔市为例，在草原生态大数据平台上任意定位一点，选择生态修复模块即可看到该位置的生态修复措施以及原生树种、草种，修复可用树种、草种等植被信息，为精准修复地区生态环境提供了极大的便利。

▲蒙草草原生态大数据平台中的定位查询修复方案界面

2、大数据 + 农业。

在巴彦淖尔市五原县，蒙草建有“生态大数据+农业”综合应用平台，集数据整合、信息查询、可视化展示、物联网监控、遥感监测和宏观决策等为一体，大幅度提高涉农信息的资源共享程度。随意点击，就可以查询到五原县各区域土壤类型，有机质含量等，有了这些数据作为基础，可以指导农民在种植过程测土配方，精准施肥，在整体上提高农业工作的科学化，规范化水平。此外，农业信息员还会定期把防灾减灾、土地流转、科技指导与疫病防控等相关信息上报至农业综合信息平台中，便民利民。

▲蒙草五原县农业大数据平台

3、大数据 + 牧业。

中国草都赤峰市阿鲁科尔沁旗以“种最好的草、养最好的牛、产最好的奶、做最好的奶制品”为草产业发展目标，2017年优质牧草种植面积已达到107万亩，种植的规模化对产业的科学管理提出了更高的要求，蒙草在该旗建立了“生态大数据+牧业”平台，利用物联网实现对该旗的生态状况评估及草畜平衡监测预警，通过网络回传数据，融合至蒙草草原生态产业大数据平台，用大数据为牧民的生产、生活带来便利，提升当地的牧草种植与畜牧业发展水平，从而助力该旗打造生态草业地标。

▲蒙草草原生态大数据平台物联网系统截图

大数据+生态，大数据+农业，大数据+牧业……目前，蒙草草原生态大数据平台已经通过取得了良好的应用成果，如何将其构建、提升为国家草原生态大数据平台，创造更多的“大数据+”，实现更广泛、深入的应用，王召明委员在提案中给出如下建议：

建设方面

出台政策和奖补机制，支持有能力的企事业单位建立“草原生态大数据平台”

管理方面

实行企事业单位管理、国家监督的管理策略

运营方面

支持使用者付费的模式

我们相信

有了蒙草草原生态大数据平台

能更好地实现

用数据说话

用数据管理

用数据决策

用数据创新

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧