四川在线消息(记者 李欣忆 祖明远 曾小清)9月20日下午，2017中国(四川)电子商务发展峰会举行项目签约仪式，绵阳市政府与北京摩拜科技有限公司签署战略合作协议，摩拜科技大数据中心将落地绵阳。

根据协议，摩拜科技将积极参与绵阳市智慧城市建设和地方经济发展，共同将绵阳打造成为摩拜科技最重要的新产品技术应用、商业模式探索与创新的基地。

摩拜科技将从五个方面与绵阳市展开合作——

在绵阳建立摩拜科技大数据分析展示中心。携手绵阳高等院校、科研机构等资源，实现硬技术和软实力紧密结合，充分发挥科技创新，汇聚高端技术人才，推动物联网产业发展。

依托摩拜在城市交通领域丰富的数据资源及运营经验，搭建绵阳摩拜大数据共享平台，为市政府提供智慧城市及大数据信息化服务，共同探讨双方数据共享，全面参与绵阳市智慧城市运营。

依托摩拜大数据，积极参与绵阳市城市交通、市政设施规划，为城市慢行交通、市政公共设施布局提供数据分析参考。

协助旅游部门对具有推广低碳出游条件的景区、特色小镇进低碳旅游相关的规划设计，提升旅游内涵和体验度，打造全域低碳旅游。

结合绵阳当地的优质运营执行公司，建立密切融洽的战略合作伙伴关系，共同布局，有效实现品牌、技术、运营、管理优势的落地，创新性打造摩拜科技在绵阳的经济模式。

作者 | 于泽 （大数网副主编）

3月29日，国家发改委正式批复，由中国科学院计算技术研究所承建的“大数据分析系统国家工程实验室”（以下简称“实验室”）在京揭牌。

“大数据分析系统国家工程实验室”揭牌仪式

实验室重点立足“分析”和“系统”两个关键词（具体后面会讲），是2016年《国家发展和改革委员会办公厅关于请组织申报大数据领域创新能力建设专项的通知》规划的13个国家级大数据实验室中的一个。

据介绍，实验室由中国科学院计算技术研究所牵头，联合中国科学院大学、中国科学院计算机网络信息中心、曙光信息产业股份有限公司、国创科视科技股份有限公司共同建设。宗旨是产学研结合，使大数据技术更好的落地，推动大数据产业更快的发展。而事实上，这也是《通知》对于国家级大数据实验室的核心要求。

只热闹不够，重要的是落地

从13个国家级大数据实验室的设立，不难看出大数据当前的发展热度。而实际上，像这样的指导性文件和规划近两年还有很多，比如《关于运用大数据加强对市场主体服务和监管的若干意见》、《促进大数据发展行动纲要》、《政务信息资源共享管理暂行办法》、《大数据产业“十三五”发展规划》……

特别需要指出的是2016年10月9日，中央政治局举行集体学习，习近平总书记提出，要实施网络强国战略，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。

国家对大数据产业的重视程度略见一斑。它不再是产业内少数几个企业在做、在推动的事情，已经上升到了国家层面。换句话说，从上至下，全社会已经充分意识到了数据的价值。

这很好，重视是做好一件事的前提。但与此同时，光口头上的重视并不能带来实际的价值。数据如果不经过处理，它只是数据，没有意义。

这正是13个国家级大数据实验室所承担的使命。简而言之，为国家、为产业界趟出一条实践的道路，未来各个实验室在各自细分的领域都是一个样本工程。

你理解“分析”和“系统”

这里值得一提的是，相较科研实验室，工程实验室更讲究落地、应用，因此在操作中更讲求产学研的结合。具体到实验室的设置、规划，也能看出这一点。

从共建成员来看，中国科学院计算技术研究所、中国科学院大学、中国科学院计算机网络信息中心、曙光信息产业股份有限公司和国创科视科技股份有限公司，研、学、产各方都有，而且实力很强。

以曙光信息产业股份有限公司（以下简称“曙光”）为例，服务器、存储等硬件处于领先地位，特别是在高性能计算领域；软件方面，曙光自主研制的XData大数据平台能够充分融合各种数据资源并进行全方位多层次的智能分析。更为关键的是，曙光的软硬件方案已经在气象、政府、医疗、广电等多个行业得到了实践，这是实验室最迫切需求的。

从实验室业务建设方向来看，规划了三大平台：大数据分析基础设施平台、软硬一体的大数据开放分析平台、大数据分析示范应用与服务平台，覆盖大数据分析全生命周期的技术与应用环路。

解释一下实验室的两个关键词“分析”和“系统”。

分析主要指横向软件层面的。用户需要的不是Hadoop，也不是Spark，而是解决问题的能力，因而实验室要研制的是新一代的数据分析软件栈，是要把各种数据分析平台都囊括其中，做成一个工具集。

系统狭义的理解纵向软硬件一体的平台。广义的理解如曙光高级副总裁聂华所讲，产学研的搭配、软硬一体的组合、从数据收集分析到应用的全囊括。我理解这是应对大数据时代的一套方法论，让大数据发挥出价值是项系统工程，要系统的对待。

一切以落地、应用为前提。

深入行业，应用是根本

除此之外，总体规划在三大基础平台之上，各共建单位还将分别深入一个细分领域进一步探究大数据的应用。比如曙光就同时挂牌“政府大数据分析系统实验室”，未来将重点开展政府相关行业的大数据智能分析技术与系统的研制。

为什么会有这样的布局，主要源于两方面的考虑：一是工程实验室本来就致力于实际应用，基础性研究只是手段不是目的，深入行业触及实际应用是必然；二是从共建方的角度考虑，擅长、优势的行业更利于拓展应用。

再以曙光为例，自其2015年提出“数据中国”战略以来，通过“百城百行”的布局，一张中国云数据服务网络已初现端倪。截止当前已经有近40个城市落地、服务近百行业、部署近千应用。

从这个角度看，曙光深入政府行业是一种顺其自然。就“政府大数据分析系统实验室”这个小目标而言，曙光有很好的基础。这意味着曙光发展自身业务与建设“政府大数据分析系统实验室”这件事刚好一致，这个过程不会有资源被浪费，相互促进更利于双方面的共同进步。

如果再放大视角来看，曙光的战略布局与实验室规划的契合度也非常高。实验室所致力的三大平台建设，无论软硬件还是应用，曙光都能提供很好的支撑和促进作用。同时，在这个过程中如聂华所言，将进一步完善曙光自身的大数据理念、架构、技术，推进大数据的理论研究与产业应用，推动业务更好的发展。

因此，我们有理由相信在实验室近期目标“直接可管理的科学与政府大数据开放资源30-50PB”“分布于50-100个城市的大数据分析云基础设施”和“支撑至少两大领域的示范应用”的规划中，曙光能做出自己的贡献。同时，在更长远的“建设大数据产学研用良性生态系统”的目标中，曙光也能发挥自己应有的价值。

大数据时代已经来临，其所能带来的产业价值不可估量。而我国的实际情况却是这样，据统计，中国拥有全球14%的数据量，利用率却不到0.4%，待开发的价值可想而知。这对于实验室而言，既是压力也是动力。希望其能化压力为动力，迎难而上，早日让大数据发挥出应有的价值。

　　央广网北京1月22日消息（记者张棉棉 实习记者张青）近日，北京航空航天大学与360正式签署战略合作协议，将在网络安全领域的应用基础研究、网络安全人才培养、网络空间安全学科建设等方面开展全面合作。双方将共建军民融合大数据分析与应用研究中心、大数据协同安全技术国家工程实验室智能安全联合实验室和高校网络空间安全监测预警与处置（北航）中心。

　　360企业安全集团董事长齐向东表示，将全力以赴与北航打造一流的网络安全技术创新体。

　　根据协议，双方将重点研究和解决国家急需的战略性和基础性问题，组建高水平的联合专业研发团队，联合培养高素质研发和应用人才。同时，在区块链技术、人工智能安全、大数据安全、物联网安全、网络舆情监控及预警等方面开展合作，并以共建的智能联合实验室为依托，助力北航一流网络空间安全学科的建设，为国家培养国际一流的网络安全专业人才。

　　据悉，去年2月，国家发改委批准360承建“大数据协同安全技术国家工程实验室”，由国家互联网应急中心、中国科学院信息工程研究所、公安部第三研究所等九家单位共建，360企业安全集团董事长齐向东担任实验室主任。齐向东表示，网络安全技术创新的基础是大数据能力，核心是人才辈出，关键在于融合。360企业安全将从这三方面为北航提供全面支持，不断推动我国网络安全一流学科建设，促进军民融合战略落地，提升我国网络安全防御水平。

　　据了解，双方将共建大数据协同安全技术国家工程实验室智能安全联合实验室、军民融合大数据分析与应用研究中心和高校网络空间安全监测预警与处置（北航）中心。人才培养方面，将建设国家国家网络安全（北航）教育基地和360网络安全学院高级攻防（北航）人才基地，360还将与中国信息安全测评中心联合成立 CISP-攻防领域考试中心，培养社会急需的攻防与渗透人才。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。

为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍ApacheMesos及YARN：

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapReduce1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

全球企业正在进入企业数据和社会数据的全融合时代，从浩瀚的大数据中寻找新业务航向，甚至建立全新的商业模式，正在成为这个时代企业的生存和发展命题。世界各大IT巨头都会自建数据中心，GOOGLE直接将IDC建在河边，有自己配套的发电站、光缆。国内的IT巨头们数据中心的规模又是怎样了：

阿里云巴巴

中国第一大云服务商，14 个数据中心节点遍布全球各个区域，拥有530+ 中国的 CDN 节点，全球超过 560 个，全球拥有 230 万用户。阿里巴巴作为电商和互联网金融的领导者，拥有海量交易数据和客服信用数据，分别开发了分布式数据库服务（DRDS）、企业级分布式应用服务框架（EDAS）和分布式消息框架（ONS），并致力开发具有高度可扩展性的云计算与数据管理平台。阿里云计算提供一整套云计算服务，以支持企业用户在全球市场的发展，阿里巴巴旗下的阿里云是中国业务规模最大的云计算公司。

腾讯

腾讯拥有用户关系数据和基于此产生的社交数据，腾讯云在全球布局了20个大区、31个可用区的集成数据中心，拥有超过700个CDN节点。腾讯云是中国唯一一家同时提供虚拟机和物理机两种形态公有云服务的云计算服务商。腾讯作为中国拥有服务器数量最多的公司，但其服务器规模也仅有50多万台，而亚马逊的数据中心有接近300万台的服务器，微软接近200万台。

百度

百度作为国内最大的中文搜索引擎，由于百度本身是一个互联网公司，所以具备将本身积累多年的技术经验等注入云产品之中的先天优势。百度公司在数据中心技术，网络技术，安全技术，分布式存储技术，大数据处理能力方面积累的丰富的经验，形成了领先的技术能力和平台。例如，百度自建数据中心的年均PUE达到1.32，刷新了国内数据中心的记录。百度分布式存储支撑了千亿级别的超大规模网页库，百度分布式计算集群单集群规模达到 1.4万个节点，成为全球公开报道的最大规模的分布式计算集群。百度云的最终目的就是为客户提供价值，按需取用、按需付费、集中管理。

华为

作为全球电信设备市场的“老大”，华为云服务最大的优势就是遍及全世界的电信运营商资源。华为云卓越计算性能，支持多类型、多规格弹性云服务器选择与变更，高效满足客户各类业务部署。华为公有云服务借助OpenStacK开放云架构，在全球拥有12000家合作伙伴，共同构建开放的商业生态系统。华为计划三年内成为中国公有云市场第一玩家。

除了上面介绍的几家公司外，像浪潮、中兴、探码科技等也有自己的数据中心。有能力建立自己的数据中心的都是IT界的巨头，没有能力的就只能租借了，市场上目前已有多家公司从事数据中心租借的服务。

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

佳数咨询上海中心具有优秀的数据专家和咨询团队，通过实现最新数据开源技术与现有数据分析技术的融合，为客户提供优秀的数据仓库方案和开源数据分析的咨询服务，帮助客户快速、高效和便捷地获取大数据价值，获取数据决策能力与数据价值创新能力。

扎根于多年的IT系统建设与数据挖掘实践，佳数咨询上海中心可以为客户提供涵盖大数据策略路线图设计、大数据分析及管理、大数据应用领域拓展的一站式服务，进而实现从数据采集、数据分析到数据管理、乃至数据决策与数据价值创新的跃升。

佳数咨询上海中心的大数据核心咨询业务包括：

1.大数据战略咨询服务

根据客户业务需求和战略目标，通过设计大数据策略路线图，帮助企业确定流程和数据选择的优先级，分析评估其对业务的影响，构建起最佳数据架构，获取大数据价值。

2.大数据系统建设服务

根据客户的业务目标，设计、开发和交付为客户量身定做的解决方案，以满足客户对生产经营系统以及外部环境的数据服务需求。

借助佳数咨询的大数据分析生态系统与专业的咨询服务，客户可以依托构建起的双渠道数据分析与决策系统，进一步降低大数据分析系统部署和应用的难度，发挥统一数据架构的优势，有效完成基于数据驱动的企业生产经营活动分析与决策转型。

·　数据抓取系统：及时捕获网络信息数据，为客户提供外部经营环境持续、海量的数据服务

·　在线数据采集系统：针对企业的在线客户，从用户属性信息、用户行为信息、商品信息等多维度进行采集，并通过数据过滤与汇总，将数据分类存于数据仓库中，满足IT业务不同需求，为企业提供持续性的数据资产。

·　数据融合系统：围绕构建企业用户的全维度标签，完善的数据管理及输出流程，全面整合企业内外数据源，尤其是对异构数据处理，支撑各类数据应用。

3.大数据分析科学服务

佳数咨询的数据分析专家团队依托于多年的数据挖掘实践经验，可以帮助客户完成对现存的业务问题从数据可视化向管理图像化的描述与刻画，并运用前沿的数据分析技术，创新的数据分析方法，发掘全新的商业机会。

数据营销系统：构建在企业用户心理层面的认知模式量化分析技术，就像获取了积木的基本模块信息，进而辨识出丰富多变的积木形状，挖掘并形象展示客户价值，帮助企业实现精准化营销。

闭环式的融合企业供应链与需求链的营销渠道管理策略

精准化的广告投放策略

适时的线上舆情监控与疏导策略

客户价值评估综合管理系统（涵盖：客户细分、忠诚度识别、流逝预警、信用评估、群体扩散等）

企业管理模型系统：着眼于实现企业数据可视化与管理图像化的分布式建模平台，从绘制企业产品价值分布空间入手，形象展示企业生产经营的内外部环境，帮助企业便捷、自动化地使用科学模型挖掘大数据潜在价值，适时准确调整运营策略，挖掘新的商机。

·　企业战略实施模拟系统

·　基于网络大数据的企业生态模拟系统

·　企业生产运营信息结构可视化系统

·　企业智能供应链优化

数据洞察与融合系统： 融合企业现有信息系统以及PC网站、移动App的综合型数据分析系统，提升企业获取互联网信息时的全面性与及时性。通过内嵌数据采集技术，深度整合业务需求，完成通用性指标关联分析、渠道流量测度、事件效应评估、网络化资源分布等的多维度分析，并提供可视化的图像报表，助力企业数字化运营水平提升。

·　PC端与移动端信息数据整合技术

·　网站与移动端信息数据洞察与分析系统

·　面向多种行业的舆情分析报告

4.大数据管理服务和培训

通过各种形式的大数据分析与大数据系统管理的培训，助力企业提高数据分析效率和洞察力，佳数咨询大数据研究中心拥有强大的专家团队资源，以授人以渔的方式致力于为客户和合作伙伴提供系统化的人才培养服务，帮助企业实现数据驱动的业务转型。

随着计算机信息时代的来临，企业在发展和运营管理的过程中会产生还大量的数据，而这些数据是企业宝贵的资源，对企业未来的经营发展决策有着重要的作用。然而现实却是很多企业在信息数据的集成应用和信息化建设方面存在严重的滞后，尚未从信息数据的集成和信息化服务产品研发等角度进行考虑，进而导致企业的数据开发应用水平较低，其为企业发展提供服务的功能更是没有得到充分有效的发挥。

为推动和加快企业的信息化建设，提升信息数据为企业发展提供服务的能力，应本着数据集成化、服务化和应用化的原则，提升企业自身的数据管理水平。具体而言，企业需要跟上国家大数据中心建设的脚步，只有在有效归集自身数据的同时，也切入到国家大数据中心的建设中，才能真正实现海量数据的充分共享和利用。云联星空结合实践经验，就企业如何提升自身的数据管理水平以跟上国家大数据中心建设的脚步进行了探讨，希望对相关工作能够有所借鉴。

一、当前企业的信息化建设现状

（一）数据的管理模式落后

现阶段，我国很多企业的数据管理模型都严重落后，没有形成可供后期进一步开发和应用的数据管理模式。企业中包括众多部门，而这些部门都会产生自身的业务数据，这些数据的形成时间不同，存储方式各异，进而导致企业的信息数据往往呈现出“多源、异构、多维、海量”的特点，再加上信息化管理模式和制度落后，造成企业中存在比较严重的“信息孤岛”效应。

（二）系统平台落后

在信息数据的管理和应用方面，没有形成可供各种数据统一存储、管理和分析展示的系统平台。

（三）开发利用技术缺乏

近年来，尽管很多企业都加强了在办公自动化和经营管理信息化方面的投入力度，但在数据的开发利用层面还缺乏有效技术和统一规划，企业生产经营管理中产生的海量数据大多被闲置在数据库中，对它们进行有效的挖掘和应用更是无从谈起，导致企业的信息数据利用率极低。

（四）信息数据的服务受限

企业所积累的各类信息数据对企业未来的生产经营决策具有巨大价值，然而现实却是大量企业对这些数据的潜在价值缺乏有效的挖掘手段，无法及时根据企业的发展需求对这些数据进行及时的信息加工和提取。

二、企业切入到大数据建设中的必要性

数据的统一集成规划和管理是提升信息数据服务水平的核心，也是企业当前信息化发展的主要障碍之一。为推动企业的信息化发展水平取得进一步的提升，有必要加速推动企业切入到大数据的建设中去。事实上，当前我国很多领域(例如医疗、教育、电商等)的企业已基本切入到了大数据中心的建设中，并逐渐实现了信息的共享、分析和利用等功能，而这也代表了企业信息化发展的趋势。在这种背景形势下，企业只有跟上时代发展的脚步，才能在未来激烈的市场竞争中占据一席之地。具体而言，企业应该先实现对自身生产数据的快速收集和有效管理，然后再切入到国家大数据中心中进行统一归集，最后再应用云计算服务提升信息数据的应用水平。这种模式能够实现更高效地数据集成和管理，而且不需要企业投入过多资源，兼具高效性和经济性。笔者坚信，企业能否跟得上国家大数据中心建设的脚步必将在企业未来的信息化发展中起到决定性的作用。

三、对企业提升数据管理水平的技术要点的

思考

（一）多源异构数据的混合存储和快速检索

企业在生产经营管理的过程中会产生大量异构数据，所以首先要解决的就是这些多源异构数据的统一存储和管理问题，同时这也是对这些数据进行充分挖掘和应用的前提。作为提升数据管理水平的技术关键点，必须解决多源异构数据的混合存储问题，并要求能够在适当的场合下实现快速查询。事实上，多源异构数据的混合存储和快速检索查询，是后续进行数据应用服务开发的基础，必须得到足够的重视。

（二）新一代的数据分析挖掘体系

对于企业的数据管理工作而言，一方面要求能够对多种结构类型的数据进行深度的分析；另一方面还要提供多源异构数据的融合能力，从而可以将不同结构类型的数据转化为对企业有用的知识资源。通过建立基于云平台的数据分析挖掘体系，可以实现对多源异构数据的快速接入、分析、挖掘和展示功能。数据分析挖掘体系包括各种新型的数据分析挖掘算法，可以实现对各种结构类型数据的深度挖掘和加工提取，是提升数据应用服务价值的关键所在。

（三）超量信息的可视化分析、交互和辅助决策技术

信息的可视化旨在解决信息的展示问题，而超量信息的可视化就是解决大量、多维、异构数据的展示问题。信息数据的规模越大、结构类型越多，那么对其进行直观展示就会越困难。此时就需要用到新型的超量信息的可视化分析技术，从而将复杂的数据集变为直观的交互式图像，这显然会极大地提升企业对数据的分析能力和洞察数据变化趋势的能力，进而也有效地保障了企业依据这些数据进行生产经营管理决策的科学性。

四、对提升数据应用水平的思考

国家大数据中心深度融合了社会上各行各业所产生的海量数据，可以有效实现对海量数据的统一存储和调配。在此基础上，借助云计算技术就可以显著提升数据的服务应用能力。鉴于此，企业要提升数据对其自身发展经营的服务能力，首先要做的就是紧跟国家大数据中心建设的脚步，将自身深度切入到大数据建设中去，同时再借助云计算技术，打造深度融合数据存储、分析、挖掘、加工处理和应用展示的高度集成平台，从而促使企业的信息化管理水平取得全面提升。

为了提升信息数据对企业经营管理决策的服务能力，要求开发出各种功能强大的应用，这也为云计算技术的引入提供了契机。云计算技术的一个最大优势就在于它具有强大的资源共享和集中能力，企业不需要开发或购买相关软件，只需要花费较低成本就能购买到云中提供的各种数据分析和应用服务，这对企业提升经济效益具有积极意义。

五、结束语

随着计算机技术和信息网络技术的不断发展，当前我国已经进入了大数据时代。海量的信息数据为数据的分析和应用工作提供了发展机遇，同时也对数据的存储和管理模式提出了更高的要求。在大数据的背景环境下，企业的数据管理工作既面临着严峻的挑战，又面临着前所未有的发展机遇。一方面，大数据环境使得传统以数据库存储为主的数据管理模式正变得不再适用；另一方面，大数据也推动了企业信息化的发展趋势，对提升信息数据的利用水平和服务能力具有重要意义。总而言之，企业提升自身的数据管理水平是大势所趋，必须引起充分的重视。