提要

本白皮书阐述了微构科技VigorData一站式企业大数据平台的定位与应用场景、系统架构、产品特性。

VigorData满足企业从数据采集、存储、计算、分析挖掘到可视化展示的一站式数据处理需求，并融合前沿AI科技机器深度学习自我进化，直至与企业自身状况深度契合，帮助企业借力大数据优势深化自身业务价值体系。

01产品概述

1.1. 产品目标

一站式企业大数据平台

VigorData提供了端到端一站式数据处理服务,为企业提供从采集、治理、存储、管理、计算、分析、挖掘、可视化展示的全程处理能力，并提供相对应的大数据咨询、开发、实施、培训、运维等全链条业务。

中间件工具平台

VigorData与具体业务实现了松耦合，是一个通用性的中间件大数据分析挖掘平台。通过这个产品所具备的高性能实时和离线计算能力、丰富的统计、分析、挖掘模型,为行业全流程、全周期的生产运营活动提供商业智能支持。

面向多角色的低技术门槛平台

VigorData通过技术封装降低了使用门槛,各层次的人员不需要太多的专业技能就可以使用。使用时多种角色共同协作,实现大数据的应用,包括开发人员、分析人员、运维人员、管理人员等。

1.2. 产品定位

VigorData从产品定位上，主要为行业大数据提供采集、处理、存储、计算、可视化能力，是一个一站式企业大数据平台。因此，VigorData的客户目标定位为具备大数据场景的行业大客户。

1.3. 应用场景

1.3.1 房地产行业

大型房地产企业，手中掌握着多年来积累的数以百万计、千万计的购房者信息，在这个数据起决策主导作用的时代，只有对数据进行精准分析，才能与需求智能匹配，进而发挥数据的最大价值，去积极推动个人和企业决策方式的转变。

产品价值：

系统化的数据治理体系，带来更好的数据质量，拉通传统“烟囱式”IT建设带来的信息孤岛。

全方位洞察受众，转变服务理念，构建用户全景视图，通过对受众的多维度分析，实现企业对特征用户群需求的深度挖掘，促进房地产企业在拿地、户型设计、产品定价、风险控制、获客等方面更加精准，产品贴合受众需求，最大化释放用户价值，提高成单率。

VigorData房地产大数据应用场景：

辅助拿地；

楼盘定价；

楼盘精准营销；

楼盘智能推荐；

房源估价；

社交租房。

更多详情请点此阅读：

大数据时代下房地产市场变革，房产大数据信息化应用简析

1.3.2能源行业

电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。

多源异构数据缺乏统一管理；

当前数据存储和处理技术遇到瓶颈，缺乏实时计算能力；

未实现跨业务的企业级大数据应用；

产品价值：

VigorData支持PB级数据分布式存储，离线、实时分析，平台使用门槛低，封装多种统计分析和数据挖掘模型， 通过对电力市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“如何更好地服务于全社会”这一根本任务上。

应用场景：

用电行为分析；

经营决策系统；

智能调度；

设备异常实时监控；

线损分析。

更多详情请点此阅读：

未来能源互联网技术革命，能源产业大数据应用解析

1.3.2 互联网行业

互联网行业大数据“4V+1S”特性：数据规模大、数据价值稀疏珍贵、数据的多样性、数据的实时性和数据的社会性成就了移动互联网大数据的超凡影响力。

网络和应用的可用性，信息安全、隐私保护，以及对海量数据的存储、管理和挖掘分析等给互联网企业带来巨大挑战。

产品价值：

数据产品化、数据可视化传播；

个性化推荐、客户生命周期管理；

数据挖掘提升活动效果；

自动提取和分析工具；

产品体验分析&口碑监测；

用户唯一ID+用户画像+用户兴趣+用户行为;

数据接入系统&元数据管理系统&计算任务调度系统；

应用场景：

针对互联网行业大数据分析的特点，通过VigorData大数据平台可实现对海量用户点击数据、用户行为数据、用户反馈数据、用户上网数据等的存储和管理，保证互联网海量状态数据的实时性和高效运营。

用户行为属性分析；

用户画像；

精准营销；

用户流失分析；

流量分析。

1.3.3 金融行业

金融业在支付、存贷、汇兑、理财、股票期货等领域积累了海量数据，其数据具备四大特征：

（1）数据量大；

（2）数据质量高；

（3）数据价值大；

（4）数据可定位性好。

目前金融机构并没有充分利用大数据分析产生价值，原因是多方面的，除了体制的沉重镣铐，还缺乏一套严格的制度去量化各类数据的价值，缺乏大数据深度分析的能力和大数据创新应用的理念，缺乏收集建立有战略辅助价值的金融行业外大数据的理念。

因此，大数据理念、方法和创新商业模式的引入，有望颠覆传统金融业，产生巨大的价值。

产品价值：

多源异构数据的融合，为未来更准确的数据分析建立基础。

图形化的数据迁移方案，更强大，更易用，效率更高。

系统化的数据治理体系，带来更好的数据质量，拉通传统“烟囱式”IT建设带来的信息孤岛。

基于融合治理后的数据，依托VigorData大数据平台提供的分析计算能力，根据客户的业务需求，更好的提供贴近客户业务需求的分析挖掘服务。

深入治理后的数据，建立用户全景视图，更全面掌握用户情况，适时预测用户行为，发现并预警风险、提升关联交易，增加营收。

VigorData金融大数据应用场景：

用卡欺诈行为识别；

交易风险预判；

客户画像；

实时服务；

用户信用体系。

更多详情请点此阅读：

DT时代商业革命，大数据金融行业应用发展分析

02产品功能介绍

2.1. 功能架构

VigorData平台由Intergration（采集、清洗、加载）、Platform（存储、计算、服务）、DeepMiner (深度学习)、Self Analysis Service(自助分析工具） 四大部分组成。

2.2. 功能描述

2.2.1安装部署工具

基于Docker封装平台镜像，利用流程向导模式，实现拷贝式部署。通过这种模式，也可以实现更高效、更迅速的迁移和扩展。真正做到向导式安装， 无人值守式安装。

2.2.2运营管理平台

2.2.2.1管理子系统

管理子系统是整个系统信息的汇聚点，通过管理子系统获取的信息可以知道系统的总体运行情况，并且通过管理子系统的信息呈现，用户可以清晰地知道当前系统运行的现状及变化趋势，从而把握系统的稳定性及健康状况。管理子系统包括集群管控、数据管理、任务管理、作业管理、数据服务、系统管理六个功能模块。

2.2.2.2服务配置工具

通过界面配置式开发，实现数据的逻辑转换与计算，大大降低了平台实施和使用的技术门槛。大部分二次开发不再需要专业的开发人员，业务人员就可以实现对数据计算的定义、脚本实现并通过定义规则驱动数据计算。

2.2.2.3 调度子系统

通过调度子系统对平台内的各类任务（ETL任务，实时计算任务，离线计算任务、内存计算任务、数据服务任务）进行统一的调度和监控管理。

2.2.2.4 数据服务子系统

数据服务子系统对外提供各种数据服务，开放多种数据接口，外部系统/用户可通过服务认证、数据API等方式按权限访问相应的数据。

2.2.3采集平台

Vigor Data Intergration采用元数据驱动的方式提供强大的数据抽取、转换和加载能力。适配多种数据源（DB/文件/log/数据流），适配多种数据抽取方式（离线/实时），提供了直观的图形界面设计器，大大缩短数据预处理的开发周期，并且容易维护。

设计界面友好，提供了工作流设计模式，能满足各种场景的实现。

2.2.4 管理分析平台

Vigor Data Platform是一个跟具体行业业务无关的、通用性的基于大数据的管理分析工具化产品，通过这个产品所具备的高性能实时和离线计算能力、丰富的统计、分析、挖掘模型，为行业全流程、全周期的生产运营活动提供商业智能支持。

2.2.4.1分布式计算子系统

以Hortonwoks HDP为底层大数据平台，使用Ambari统一集成监控管理各种计算组件，包括HDFS、Hive、Spark、Hbase、Strom、Kafka等。全方位支持OLTP和OLAP服务，让基于传统SQL的应用可以无缝迁移到大数据平台。统一的调度、适配和管控离线计算任务、流式计算任务、内存计算任务。

2.2.4.2 函数模型库

将常用统计、分析、挖掘的模型进行插件式封装，用户实现统计实例无需再进行底层的编程，只需要按照计算模式的参数输入约定，即可完成实例的开发定义；不常用的计算模型，按需实现插件式开发，开发后部署到计算模型库中，逐步丰富计算模型库。

2.2.5 自助分析工具

Vigor Data Self Analysis Service支持灵活的业务组合分析和任意的时间窗口分析；无缝整合数据运营中需要的全部核心组件，提供一致的用户体验和极低的维护成本；结合深度分析算法，帮助用户洞察无法直接观测到的数据背后的关联、趋势和逻辑。

2.2.6 深度学习

Vigor DeepMiner基于VigorData大数据平台之上具有完备的数据准备、数据处理、算法管控、模型管控、模型管理和结果展现功能，集成TensorFlow、Caffe等深度学习框架。通过建立各种不同类型的业务模型，帮助企业梳理海量的业务数据提供偏好预测、风险评估、交易预测等结果。

03产品技术架构与特性

3.1. 产品整体技术架构

3.2. 组件介绍

组件

说明

Vigor

OLAP

为Hadoop等大型分布式数据平台之上的超大规模数据集通过标准SQL查询及多维分析功能，提供亚秒级的交互式分析能力。直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型。

Vigor

OLTP

提供可以在Hadoop大数据环境中进行事务操作的解决方案；支持完整的ANSI SQL标准；提供完善的企业大数据事务解决方案，完美解决了数据弱一致性的问题。

Hive

建立在 Hadoop 基础上的开源的数据仓库,提供类似 SQL 的 Hive QL 语言操作结构 化数据存储服务和基本的数据分析服务。

Map

Reduce

提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。

Spark

基于内存进行计算的分布式计算框架。

Kafka

一个分布式的、分区的、多副本的实时消息发布和订阅系统。提供可扩展、高吞吐、 低延迟、高可靠的消息分发服务。

YARN

资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。

HDFS

Hadoop 分布式文件系统(Hadoop Distributed File System),提供高吞吐量的数据访 问,适合大规模数据集方面的应用。

HBase

提供海量数据存储功能,是一种构建在 HDFS 之上的分布式、面向列的存储系统。

R

R分析作为大数据平台的组成部分，以HDFS Federation和YARN为核心的计算平台，与以R为核心的分析平台，通过中间连接器，融合为RHadoop计算分析平台，以使R用户可以进行海量数据分析。

Manager

作为运维系统,为VigorData提供高可靠、安全、容错、易用的集群管理能 力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务 管理、健康检查、问题定位、升级和补丁等。

Flume

一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写入各种数据接受 方(可定制)的能力。

Sqoop

是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Storm

一个分布式的、容错的实时计算系统，

Ambari

是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Nutch

是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

kettle

用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据,它是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。

Docker

是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

前言

随着历史的变迁，工业革命的兴起创造了巨大的生产力，推动了社会的进步和发展。直到今天，我们仍在享受着工业革命带来的成果，感受着科学技术在推动历史发展过程中产生的神奇而巨大的力量，包括交通运输，建筑工业，能源生产等方面，都极大提高了科技生产力，当然智能巡检也在应对社会发展的需求，不断的更新换代，从古时候打更到后来填写记录表，再到后来的电子巡更棒，直至互联网的诞生，结合安卓智能手机的出现，又将智能巡检系统推向了一个新的高度，石家庄智创软件科技有限公司也紧随脚步，依托于互联网+Android系统结合巡检行业需求，对智能巡检系统再次升级改革，在2010年成功推出的安卓智能巡检管理系统，成为国家第一家以智能手机做巡检的厂商，目前已投入市场近7年的光景，服务客户已超过上万家企业，另外智创也在不断的对系统进行升级，创新出更适合于行业，适合于企业的管理系统，我们并不是在闭门造车，每一次的更新都融合了客户在使用过程提出的良好建议和行业市场变化所需的功能。

智能巡检系统概述

安全巡检工作是企业生产运营过程中必不可少的一部分，为企业生产设备的运转保驾护航，因此智能巡检系统也是为企业安全生产运营提供的一把利器，帮助企业提高巡检管理工作信息化程度，但是随着企业的不断发展，巡检不仅仅是在管理考核巡检工人的日常巡检工作，也会将企业的设备台帐管理，设备运行参数监控，数据资源共享、隐患工单流程处理以及其他子系统进行资源整合。

巡检涉及的行业领域：

线路巡检：电力线路巡检，铁路线路巡检，通信光缆巡检等其他远距离长输线路。

管道巡检：供热管网，石油管线，天然气管道，供水管线，地下管廊等其他长输管道。

城市安全巡查：公安干警巡查，城管巡查，路政巡护，环卫巡查，市政巡查等城市安全防护的相关企业。

林业巡护：矿山，林区，自然保护区，景区等系列山区。

设备巡检：化工厂、水泥厂、炼化厂、发电厂、变电站、焦化厂等各种厂区作业巡检。

智能巡检系统技术创新

互联网

结合当下互联网+的新业务形态，实现了以云技术为主体的管理平台，BS架构云平台管理，随时随地对企业管理工作进行远程指导，不仅限于PC电脑登陆，大大提高了管理工作的便利性。

NFC射频信息钮

NFC是一种近场通信识别技术，目前市面上大部分手机已经具备该功能，所以结合android智能手持终端内置的NFC射频识别功能，解决了厂区车间，小区大厦，地下矿井，管廊等无GPS信号的问题，适应各种巡检场景，达到巡检无死角的效果。

GPS全球卫星定位

利用GPS定位卫星，在全球范围内实时进行定位、导航的系统，目前已经广泛应用与人员定位，车载定位，智能巡检系统结合GPS系统对巡检人员实现全天候的工作实时跟踪管理，人身安全防御等功能。

BD卫星定位系统

北斗卫星导航系统﹝BeiDou(COMPASS)NavigationSatelliteSystem﹞是中国正在实施的自主发展、独立运行的全球卫星导航系统。其广泛应用于我国电力、热力、燃气、测绘、林业、水利、公安等各个行业。

北斗卫星导航系统作为重点发展的战略工程，国家各有关部门都加大了对北斗产业的扶持力度，相继出台了包括《国家卫星导航产业中长期发展规划》、《国务院关于促进信息消费扩大内需的若干意见》等一系列政策。政策中涉及一些具体行业的鼓励性优惠政策，以及在涉及国家经济社会发展安全的某些行业，将针对卫星导航出台一些限制性政策。如通信、电力、金融这些行业，出于安全考虑，强制使用北斗系统，这是基于经济发展安全的要求，在任何一个国家都是如此，为了经济发展安全考虑，后期还将陆续有各个行业要求使用北斗系统，所以北斗系统作为我国的自主系统，无论从国家政策上，还是后期的发展趋势上以及理性消费上，北斗系统的运用将势在必行。

不仅如此，我国推出的北斗卫星通信短报文也是全球唯一的可以通信的卫星定位系统，解决了在山区或信号薄弱地带信号弱的难题，保证数据能实时回传至系统。

智能巡检系统的价值

1、利用互联网云技术构建信息化管理平台，实现资源共享，提供企业巡检管理工作的科技化水平。

2、建立设备整个运行生命周期的所有维护系统，资料的原始信息档案管理，设备日常维护，检修记录。

3、提高巡检部门的内部管理水平，解决人员巡检不到位，隐患上报不及时，数据统计不完整等巡检难题。

4、巡检信息永久保存，可供领导层的随时查阅，为管理者提供有效的巡检数据，提高日常人员的管理水平，弥补传统管理的缺陷。

5、解决了传统巡检工作时候复杂的整理统计工作，替代了纸质化的工作，提高了管理效率。

智能巡检系统的拓展

随着工业4.0潮流的不断推进，企业也在对生产设备进行智能化改造，实现企业的工业自动化大数据分析管理模式，巡检虽在企业中占据较小的一部分业务，但却是占据重要的位置，所以巡检也是在智能工厂改造重要组成部分，巡检系统的发展不仅仅是满足对人员日常巡检的管理考核，也会跟其他相关系统相结合来实现综合管理。石家庄智创软件科技有限公司近年来开始在智能巡检系统基础之上拓展了很多与之相关的功能，并且与行业系统相互结合，实现对企业所有子系统的对接与调用，资源整合，数据分析，通过系统集成整合，再次提升巡检系统对企业的价值，在构建工业4.0的前提下，系统必须集成整合才能让工作做起来事半功倍，能快速有效的发现问题，解决问题，例如：与现场仪器仪表传感器相对接，巡检时自动抄表，获取设备运行数据，系统进行自动分析，发现隐患自动发起隐患工单，工单自动派发维修部门，获取工单时自动调取设备以往维修保养记录及解决方案，降低隐患处理，减小隐患事故损失。

智能巡检的创新构建企业大数据

智创造就了智能巡检，智能巡检成就了智创，智创近年来通过对客户的深入走访与了解，对行业需求的不断挖掘，对市场需求的不断分析。本着提高行业发展过程中的科技水平的目的，深入挖掘企业内部各类管理难题，为中国在实现工业4.0时代的道路上贡献一份绵薄之力，通过智能巡检系统开始构建企业大数据平台，帮助企业实现真正意义的智能制造企业，于是智创将于2017年下半年推出《企业大数据自动化管理平台》该系统针对企业日常管理主要分为三大板块：

1、快速开发引擎：根据客户日常管理需求，模块化搭建自己所需要的管理软件，解决传统行业通用版软件不能完全匹配企业管理需求的问题，可实现企业自主开发，自主搭建模块，做不能再合适的管理软件（例如可自行开发OA办公系统，库存管理系统，采购管理平台等等），脱离软件厂商的限制，为自己量身定制。

2、软硬件对接：随着企业信息化的建设，各类管理系统纷纷入驻企业，但是企业仅使用管理系统中约20%-40%的功能，其他都是闲置的功能，而且企业管理者每天都要登陆各个子系统进行查看统计，甚是繁琐，智创软件推出的《企业大数据自动化管理平台》可将各类子系统进行数据整合提取，管理者只需要打开一套管理平台，各个子系统相应数据会自动汇总到大数据平台，从而实现实现企业大数据集成管理模式，另外该平台亦可将现场各类硬件设备通过传感器相对接，实现现场设备的运行数据提取汇总和控制指令的下发，最终实现企业信息化系统及设备管理的互联互通，帮助企业在生产运营方面提供决策方案。

3、业务流程处理

对日常管理工作的流程化管理，企业可以根据自身业务需求自行设计流程管理方案，自定义审批流程，审批表单等等业务，实现各部门协同办公的管理模式，大大提高了工作效率，并且可根据企业各部门业务进行互联互通，将各部门业务负责人进行实时跟踪定位，并制定对日常办公对汇总记录。

总结：智能巡检是所有生产型企业所需要的一个管理系统，它保障着企业的安全生产，而智能巡检未来也是企业必不可少的一部分，随着工业4.0的发展，智能巡检将不再以单独系统存在，而是融入到企业大数据管理平台的子模块，目前工业4.0的发展仅仅是企业硬件设备智能化不高，要实现智能制造，必须更换所有的硬件设备，笔者认为未来3-5年，企业大数据管理平台必将是企业信息化建设的核心部分。

伴随着大数据能力持续渗透到客户的IT环境，致使这些客户的数据中心涌入了更多的新技术、新工具甚至新平台，它们循序渐渐进、融会贯通的交织在一起，逐渐形成了今天我们常听到的——企业级大数据中心。

很多toB侧自称做大数据的企业，都希望将自身能力以“方案+产品+服务”的形式呈现给客户，他们有些负责定制化应用开发、有些专注于平台建设、还有些只卖硬件产品……这些都不重要，关键在于对客户而言，到底什么样的能力才能完全支撑起自己大数据中心的业务和应用？这就是今天所分享的内容核心——对企业数据架构的理解。

何为数据架构？简单地讲就是：从自顶向下和自底向上两个维度分别考虑大数据中心的能力支撑。

自顶向下：客户的公司目标和战略是什么？伴随着这种战略有哪些业务提升机会；这些业务提升机会解决了哪些关键业务问题？支撑这些业务问题的关键指标是什么、采用什么分析维度和数据模型？最后考虑企业有哪些数据。

自底向上：当前有哪些数据源可以用于构建数据模型并支撑分析？采用哪些分析维度并形成关键业务指标？这些关键指标回答了哪些具体的业务问题并带来业务提升机会，最终达成了公司的什么目标战略。

虽然上述表述啰里啰嗦，但我们的目标是明确的：为了支撑业务，一定要让大数据中心的数据 “活” 起来。

图中所示，我们拟定在客户IT环境中包括三种主流技术平台：EDW平台、Hadoop平台以及数据探索平台，这些能力是根据客户的技术演进和业务规划，循序渐渐形成的而并非一蹴而就。

EDW平台：数据仓库的概念从上个世纪90年代由（Bill Inmon）提出的，它的特征在于面向主题的、集成的、稳定性的等等。由于面向结构化数据分析，因此EDW主要提供数据的整合能力。不仅如此，数据分析和决策还能改善并优化原业务流程，所以EDW还能以数据分析驱动业务运营。

Hadoop平台：太火爆就不做过多介绍了。依托于开源生态组件可以实现大数据同步与加载入库，也可以支撑大数据存储和分布式计算，并且将中间数据或结果数据同步给EDW域或者数据探索域，借助于Hadoop系统可以实现企业线上（互联网日志、用户行为、第三方等）数据处理，也可以引入实时计算等开源组件支持高时效业务场景。

数据探索平台：支持机器学习及数据挖掘：运用内建算法和模型库支持数据探索，完成高级分析的特定场景或提供人工智能引擎（语音/文字/图片/自然语言等）。

伴随则上述三种混搭技术支撑，大数据中心的数据存储、数据处理方法、数据流转流向、数据分析目标、数据开放和共享等内容的一系列运作机理不尽相同，这就是企业数据架构。

客户有太多的应用需要支撑，而每一种技术又有自身的长项和短板、优势和劣势，而且数据架构并非像一颗发射的子弹（有固定的源点和目标的终点），数据或许还在交织变化着、经过一点后又发散目标、多路贯穿。

所以，支撑企业级大数据中心的复杂化业务形态，就必须考虑数据架构问题。当规划好数据如何摆放后，需要什么样的数据、构建哪些模型、支撑哪些业务也就明朗了，人员和团队能力需求也就清晰了。

是的，就差这一步，一个扮演着大数据中心灵魂的关键步骤。

互联网时代，最明显的一个特征就是绝大多数信息都是以数据的形式进行记录，可以说数据就是信息的载体，也是知识的来源。数据体量呈现出爆发式增长，人们在笑谈大数据时代“你的信息只值五毛钱”的时候，不得不重新认真思考它的价值。

大数据有没有价值，在于是否应用得当

随着国家将大数据战略提升到国家战略高度，将大数据视为经济发展和转型的重要科技依据，越来越多的企业组织已将数据视为重要资产，着手开展数字化转型的系列举措，以期全面提升客户体验，推动经济增长。

无疑，大数据时代，数据资产已成为一个企业的核心竞争力。但数据在手，不会运用它，就会毫无价值。在当下企业数字化浪潮中，数据是企业转型的基础元素，如何将企业不同业务、类型的数据应用起来，推动企业运营，增加收入、降低成本、提高效率，控制风险等，是企业现在面临的难点。

用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》，助力企业走出数据分析的盲区，实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集，再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合，根据不同的需求，提供差异化服务。

应用越广泛，受到的安全挑战越大

大数据技术，悄然渗透到各个行业领域，逐渐成为一种生产要素并发挥着重要作用。然而，大数据技术使得产率提高和改变生活方式的同时，随之而来的安全挑战也日益显现。

例如，政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时，数据和平台安全尤为重要。

值得一提的是，3月25日，华为云数据库安全服务正式上线，以期打造高效云上数据防护体系。华为云数据库安全服务，通过三步走的数据库安全防护设计，保障数据系统安全。第一步：定位敏感数据在数据库中所处的位置，通过构建安全策略来提早防护。第二步：通过定义基于多维度的策略，阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步：一旦发现入侵行为，采取必要措施进行封堵，以回溯和确认攻击源头，还原恶意行为的蛛丝马迹，从而进行管理措施。

大数据与人工智能携手发展

大数据与人工智能相互依托，有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树，到近期的人工智能神经网络，数据越多越有助于人工智能的发展。同时，大数据也需要更新的模式来处理它，通过这个过程发现更多隐含规律。

在当下，在未来，或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐，泰山移。独脚难行，孤掌难鸣。在互联网时代，一味地竞争已经没有未来。只有携手共求发展，或许才能创造出一个大国品牌。

（文/红薯）

一 , 主机agent安装配置

原作者开源中国“”喵了_个咪“”

填入主机的名称或在已托管主机选择一下主机

cmmaster-1master-2slave-1slave-2slave-3

下一步选择我们之前下载好的parcel

等待系统自动分发

完成之后在进行下一步

检查集群正确性

以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题

用户和用户组

useradd cloudera-scm

swappiness

echo 10 >/proc/sys/vm/swappiness

透明页面

echo never > /sys/kernel/mm/transparent_hugepage/defragecho never >/sys/kernel/mm/transparent_hugepage/enabled

点击页面头部的重新运行,我们就得到一个干净的主机检查了

二, 大数据组件安装

主要组件分布

cm cloudManageService oozie HUEmaster-1 Zookeeper NameNode HbaseMaster YARN HiveMetastore master-2 Zookeeper NameNode HbaseMaster YARN HiveMetastore slave-1 Zookeeper DataNode HbaseRegion NodeMangerslave-2 Zookeeper DataNode HbaseRegion NodeMangerslave-3 Zookeeper DataNode HbaseRegion NodeManger

选择创建集群:

勾选我们需要的组件

对组件中的各个实例修改安装的主机实例

PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件

数据库配置(先去MYSQL创建好对应的数据库)

配置修改(先使用默认配置)

开始安装运行组件

愉快的开始使用了

三 , HUE load balancer 启动失败问题解决

需要先安装一下下面两个包之后在重启

yum install httpd mod_ssl

内容来源：2017 年 7 月 29 日，青云资深产品经理李威在“大数据与人工智能大会”进行《云端大数据平台最佳实践》演讲分享。IT 大咖说（ID：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。

阅读字数：3289 | 9分钟阅读

获取嘉宾完整演讲视频及PPT：http://t/EUJ2Hu9

摘要

很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。本次分享将从青云的云平台架构出发，探讨大数据平台的实践以及思考。

云平台架构

青云提供了完整的基础架构云和技术平台云，图中最下方的IaaS层提供标准的网络存储和计算服务，我们认为主机、虚拟机、容器、物理机等在架构中都是资源，共用同一套调度器。上层PaaS服务中的大数据平台以及数据库和缓存都是基于IaaS的，调用的是IaaS的API接口。再往上就是管理服务，它包含自身的一些部署架构。

完整的企业级大数据平台

一般的大数据平台架构首先面对的就是各种数据源，接着就是数据的传输，这里的传输层推荐使用Kafka。数据传输完成后就来到了大数据存储层，这里最常使用的有MongoDB、HBase、对象存储等。再往上的计算层一般分几类，实时处理主流使用Storm、准实时处理推荐使用Spark，批处理则使用Hadoop、Hive等。另外还需要任务的调度和平台管理层来管理接入的各种开源产品。我们将Redis、Memcached、MySQL归类到最上层，但是这层并不是UI层，而是因为离用户比较近，使用率较高。

以上所有的架构都是建立在IaaS之上的，不管是虚拟机、物理机还是容器。整个架构的核心地方在于从下到上的层次和从左到右的生命周期中的每个模块都可以根据企业的场景替换。

大数据产品选型

实时流处理引擎对比

实时流处理引擎主流的产品有 Storm、Storm Trident、Spark Streaming、SAMZA、Flink 等，在选择它们时可以考虑的维度很多，比如说消息的传递机制保护（Guarantees）有 At-least-once（至少传输一次，它带来的结果是消息的重发）和 Exactly-once（消息一定只处理 一次，无论是在出错的情况还是其他的情况下）的区别；Latency（延迟）方面，如 Storm 是通过 Native 实现的流处理，延迟非常低。而 Spark Streaming 是通过 Micro-batching 实现的，它会把一段时间内的流组成小批量地处理，这样它的延迟就会高一些；吞吐量（Throughput）方面， Storm 的 Native 吞吐量没有那么高，Spark Streaming 的吞吐量就会很高。

存储——HBase .VS. Cassandra

HBase和Cassandra是非常相近的两个产品，都能提供高性能的海量数据读取，也都是列存储，读写性能都非常好。而且应用场景也很相似，都会用来做监控或者日志数据的存储。

但是它们也有很多不同的，首先一致性上HBase是行的强一致，Cassandra是最终一致；稳定方面HBase有多Hmaster，Namenode HA，Cassandra则去中心化，没有单点故障；分区策略方面，HBase 是基于主键有序排列的范围分区，Cassandra 是一致性 Hash 排列，可自定义策略；可用性方面，HBase是牺牲了可用性换取了一致性， Down 掉一台后短暂不可读写,Cassandra 是 Down 掉可继续读写。

Ad-hoc & OLAP查询分析产品对比

交互式查询这方面考虑的维度有很多，这里选取数据量、灵活性、性能这三个维度来衡量。

Hive

可以处理海量处理，查询灵活，但是性能比较低。

Phoenix + HBase

这两个组合也可以查询海量数据，同时性能也比较高，但是查询是基于Rowkey的，非常不灵活，比较适合业务固定的场景。

ElasticSearch

ElasticSearch的查询灵活，性能也很高，不过承载的数据量很难达到p级别，只能支撑TB级别数据。这个主要是和它的架构有关系，因为它是属于全链接的结构，所有可能导致节点的扩展性有问题。

Kylin

可以处理海量数据，性能也很高，但是灵活性较低。由于 Kylin 采用的是预聚合查询，在数据仓库中需要把你要算的 cube 的维度和事实预先计算好，存到 HBase 里面才能达到很高的性能，这导致就它丧失了灵活性。

Druid

海量数据、性能、查询灵活都满足了，但是它是时序数据，数据来源的每条记录里必须有一个 Timestamp。

HashData（GreenPlum）

采用标准的SQL查询，所以查询很灵活。而且性能也很高，支持PB级别数据，能在云上横向扩展节点。但是它的限制在于只能处理结构化的数据。

海量数据OLTP —— 分布式数据库

上图是我们用来处理海量数据的产品，它有一个中间件的集群，下方的每一个节点都是一个分片，每个分片又是一个MySQL的集群。这些分片在云上是可以无限扩展的，所以这种架构可以支持还海量数据。

在架构层面我们还将自动分库分表、数据强一致、分布式事务能力都做到了分布式数据库中。

无限扩展的对象存储服务

对象存储在大数据的处理中非常重要，一般我们使用的都是S3对象存储，它可以无限扩展，并且支持的文件类型是通用的，不管是非结构化的数据、日志、视频、音频、图片都能存储，对文件的存在也没有限制。

青云提供的对象存储就支持S3接口，这样一些主流的大数据产品就可以直接使用QingStor的对象存储。虽然这种形式在性能上有所损失，但是数据的集中存储方便了计算引擎的切换，同一份数据可以使用不同的计算引擎计算。

Ad-hoc & OLAP查询分析产品对比

某大型家电集团——基于海量数据的舆情分析系统

整个架构中首先会将爬取的数据以及关系型数据库的备份数据都存储在对象存储中，然后经由Spark进行数据分析。分析完成的结果中的展示文件可以通过UI展示。

青云——在线业务大数据分析流程图

青云自身的也有很多的业务需要分析，我们会将一些线上数据库的数据进行解析、同步，包括典型的 ETL 处理，数据处理完存在 HDFS 里面，之后由 Spark 进行计算，最后把处理结果存到对于业务来说易于使用的产品，如 PostgreSQL、Elasticsearch，通过 API-server 曝露给前端使用。这是一个比较典型的大数据分析流程，我们用它来验证 QingCloud 大数据平台提供的各种服务。

全球某大型互联网职场社交平台

这是一个在 QingCloud 公有云上运行的大型的互联网社交平台，架构非常典型。最上层用自身的Web Server接入负载均衡，下方有一个数据的服务层，可以处理 MySQL、缓存、Elasticsearch、MongoDB 等数据存储，再往下的数据传输层Kafka，可以将应用级系统日志等信息输入到 Spark 平台上进行分析，如对于系统推荐的好有，用户是否添加了好友等。

Roadmap

大数据平台管理架构

青云不仅提供大数据的相关组件，还提供了管理这些组件的平台。我们的大数据管理平台可以通过UI界面直接执行Hive、SQL、Spark的脚本，还可以直接看到 Storm 和 ZooKeeper 数据的信息，存储可以从浏览器、HDFS、对象存储看到文件的结构，可以提交 HBase 实时的查询，可以看 Kafka 传输队列里现在的数据结构是什么样的。这些是在大数据的组件之上的平台管理层。

大数据平台+Appcenter2.0

大数据技术的变化太过迅速，我们无法提供所有的相关产品，所以需要在大数据平台下提供一个框架层，这样就可以将各种产品转化为服务集成到平台中。

青云的AppCenter就是这样的一个框架，我们的PaaS以及大数据服务全部都是基于这个框架交互。这样就能保证上层有统一的平台管理，下层有插件式的框架集成各种产品。

有问题可以在评论区讨论，以上为所有分享内容，谢谢大家！

编者：IT大咖说，转载请标明版权和出处

新华社重庆4月18日电（记者赵宇飞）中国和新加坡合作打造的中新企业服务大数据平台18日正式上线，该平台将采用区块链技术，为国内外企业提供服务。这是中新（重庆）战略性互联互通示范项目在信息通信领域取得的新突破。

中新（重庆）战略性互联互通示范项目是中国与新加坡继中新苏州工业园、天津生态城之后的第三个政府间合作项目，主要涵盖金融、航空、物流运输和信息通信技术四大重点合作领域。

中新（重庆）战略性互联互通示范项目管理局局长韩宝昌介绍，中新企业服务大数据平台由中国和新加坡两国的大数据企业——重庆誉存科技公司与新加坡DC Frontiers公司联合打造。

重庆誉存科技公司联合创始人陈玮说，该平台将采用区块链技术，推动项目招商、跨境投融资、企业国际贸易等商业合作。平台将对中新两国的全量企业数据资源、中新合作有关支持政策予以整合，向用户提供全面的企业信息查询服务，逐步形成中新企业库、招商项目库、行业政策库、信息资讯库等跨境信息数据库，为两国企业合作提供大数据支持，推动中新两国跨境投融资、贸易的便利化。

据了解，该平台的发展将分为两大阶段，第一阶段利用大数据技术生成企业精准画像，完善企业商业服务，实现企业诚信认证、宏观政策分析、品牌推广等功能；第二阶段利用中新企业数据资源，完善数据结构，优化大数据运算模型，实现企业商务路演、投融资撮合、结算等服务功能，促进中国和新加坡两国开展技术经验、产业资本层面的交流合作。

陈玮说，未来，中新企业服务大数据平台还将推动马来西亚、文莱等东南亚国家的企业加入其中，不断增强对东南亚地区的辐射力。

与此同时，重庆与新加坡企业18日还签约推动两项合作，包括年内把重庆的无人超市开到新加坡，以及将打造服务“一带一路”的跨境贸易物流供应链平台。

责任编辑： 李志强

亿欧近日消息，集客分享重磅推出企业大数据平台。集客分享认为目前企业面临诸多痛点，限制了企业业绩的快速增长。例如，①获客渠道少成本高效率低；②无法甄别优质销售线索；③销售线索缺乏有效管理；④无法开展专业营销工作；⑤企业内部业务流程割裂。针对企业面临的前2大痛点，2018年7月11日，集客分享历经了为期半年的研发，重大产品“企业大数据”发布上线，为ToB企业量身打造的海量优质销售线索获取平台，助ToB企业实现“线索轻松找，业绩成倍增”。据亿欧了解，集客分享（北京品客互动科技有限公司）是一家营销技术解决方案服务公司，致力于为企业提供“技术+数据+内容”的智能营销解决方案，系统解决企业的获客难题，提高营销转化效果。

一、大数据与大数据平台的关系

大数据一词代表了概念、特性、功能和能力，而平台则不然，平台需要体现以一种以服务为主导的支撑模式。

纵观大数据十年发展，从单一细粒度的技术突破到复杂业务形态的成熟运用，有些企业聚焦于数据收集和预处理，有些聚焦于大数据处理和分析，还有些聚焦于数据可视化领域。

为此，大数据绝不是仅提供某种属性的知识沉淀，而是将自身产品打造成为一个能被社会认可的平台级产品，后续的服务和运营才是这场游戏的开始。

二、大数据平台如何提升到企业级能力支撑

作为一个标准的大数据平台，系统应具备数据采集抽取、数据预处理转换、数据存储和分析等诸多能力，但正如上文所述，整个层次结构应该是层级递进的、环环相扣的，因此这个平台并非形同虚设，它应该具备以客户视角俯瞰自身企业经营的能力。大数据平台的这种能力是可拉伸的——小型初创公司的规模小、人员少且能力有限，他们的平台级产品可能只是应对并解决某个单一的简单问题；大型企业结构复杂、人员部门多、开展的业务形态复杂多样。所以，大数据平台的整体能力输出才是重点，因此这中平台一定是企业级的、规模化的。

三、什么是竞争门槛

作为竞争门槛，一定有三种特点值得我们总结。

1、做与众不同的产品，在某一方面用另一种思维去解决客户痛点，换个视角看问题，难点自然迎刃而解；

2、技术方面勇于创新、开拓完善，就算是开源技术的“拿来主义”，也仍然需要不断测试、优化、迭代和完善；

3、成为某一领域的行业佼佼者，永远冲锋在行业前锋，任何情况下与绝不姑息和妥协市场地位；

所以，作为当今最盛行的企业级大数据平台，提高竞争门槛才是硬道理。

第一个技术门槛就是跨行业数据云模型。

你可能听说过数据模型，是的。数据模型（Data Model）是数据特征的抽象。数据（Data）是描述事物的符号记录，模型（Model)是现实世界的抽象。数据模型从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供了一个抽象的框架。简单的理解：数据模型就是为了支撑某一领域的业务问题，在数据库表达层面预先定义好后续能支持的访问模式。但现实社会中每种行业特点不同，有零售业、制造业、电信业、金融业、保险业、互联网业等等，对于某一领域的业务支撑和应用访问，底层的数据结构和表的设计一定是差异化的，固然数据模型各有千秋。但如果能结合多种行业特点，构建起一个能支撑不同行业特点的数据模型，这就叫做跨行业数据云模型。况且在今天这个时代，很少有企业秉承单一行业特点去“一根筋“经营（比如某手机制造行业并不靠卖手机赚钱，但却靠”养粉”和后续广告获取收益和盈利），类似这种形式企业就必须懂得混业经营。依托数据模型的构建理论，基于大数据处理和分析能力，形成行业内的数据模型，便于后期数据运营。所以为了支持大型企业的混业经营，如果在底层支持跨行业数据云模型，那么这样的平台产品就是有门槛的。

第二个技术门槛就是数据开放和共享。

大数据发展的前五年，家家都在搞理论、搞培训、搞硬件、搞平台，先不说能力是否施展的开，就单拿知识输出来讲就一直处于“闭塞”状态。因为那会这些企业并没有搞清楚大数据平台未来朝什么方向演进。伴随着时间的演进才逐渐清晰数据能力开放和资源共享的重要性，所以后来这五年才有PaaS统一开放平台、多租户开发管理平台等，而且这个领域的能力加强和功能完善才是拼搏的砝码。将数据通过API、文件等方式开放给外部系统或其他行业，实现数据交换和开放共享，这也是平台产品的竞争门槛。

第三个技术门槛就是数据管控平台。

当企业数据规模达到一定量级，数据管理者面临着维护压力、数据使用者面临着访问压力，海量数据资源的管理成为了一个重大问题。元数据如何管理？数据质量如何管理？数据安全如何保障……这些问题的暴露逐渐让企业数据管理者更加注重数据治理的重要性。将数据处理与数据规范有机结合，以元数据为驱动形成数据资产治理、规划、运营、监控等能力，从而提高企业大数据平台的竞争门槛。

欢迎关注我的头条ID：分析世界讲方案

传统企业的OLAP几乎都是基于关系型数据库，在面临“大数据”分析瓶颈，甚至实时数据分析的挑战时，在架构上如何应对？本文试拟出几个大数据OLAP平台的设计要点，意在抛砖引玉。

突破设计原则

建设企业的大数据管理平台（Big Data Management Platform），第一个面临的挑战来自历史数据结构，以及企业现有的数据库设计人员的观念、原则。数据关系、ACID在关系数据库几十年的统治时期是久得人心，不少开发人员都有过为文档、图片设计数据表，或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上，我们需要对多种不同的格式的数据进行混合存储，这就必须意识到曾经的原则已经不再适用——One size dosen’t fit all，新的原则——One size fits a bunch.

以下是我列出的一些NoSQL数据库在设计上的模式：

文档数据库：数据结构是类JSON，可以使用嵌入（Embed）或文档引用（Reference）的方式来为两个不同的文档对象建立关系；

列簇数据库：基于查询进行设计，有宽行（Wild Rows）和窄行（Skinny Rows）的设计决策；

索引数据库：基于搜索进行设计，在设计时需要考虑对对每个字段内容的处理（Analysis）。

搜索和查询的区别在于，对返回内容的排序，搜索引擎侧重于文本分析和关键字权重的处理上，而查询通常只是对数据进行单列或多列排序返回即可。

数据存储的二八原则

不少企业在解决海量数据存储的问题上，要么是把关系数据库全部往Hadoop上一导入，要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入，但最后往往发现前者还是无法解决大数据分析的性能瓶颈，后者也无法回答数据如何发挥业务价值的问题。

在数据的价值和使用上，其实也存在着二八原则：

20%的数据发挥着80%的业务价值；

80%的数据请求只针对20%的数据。

目前来看，不管是数据存储处理、分析还是挖掘，最完整和成熟的生态圈还是基于关系型数据库，比如报表、联机分析等工具；另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。

企业大数据平台建设的二八原则是，将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析；而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上，供有一定数据挖掘技术的数据分析师或数据工程师进行下一步数据处理。经过加工的数据可以以数据集市或数据模型的形式存储在NoSQL数据库中，这也是后面要讲到的“离线”与“在线”数据。

理解企业的数据处理需求

数据库到数据仓库，是事务型数据到分析型数据的转变，分析型数据需要包括的是：分析的主题、数据的维度和层次，以及数据的历史变化等等。而对大数据平台来说，对分析的需求会更细，包括：

查询：快速响应组合条件查询、模糊查询、标签

搜索：包括对非结构化文档的搜索、返回结果的排序

统计：实时反映变化，如电商平台的在线销售订单与发货计算出的库存显示

挖掘：支持挖掘算法、机器学习的训练集

针对不同的数据处理需求，可能需要设计不同的数据存储，还需要考虑如何快速地将数据复制到对应的存储点并进行合适的结构转换，以供分析人员快速响应业务的需求。