过去几年内，我们见证了互联网从“数据”到“大数据”的量的转变。作为拥有数据生产者和使用者双重身份的企业，正面临着时代变革所带来的各方面的挑战，无论是大公司还是小公司，或所处什么行业领域，企业所面临的困境越来越相似。

　　企业对于自己的信息知之多少？

　　这些数据来自何方？

　　如何应对爆炸式增长的数据量？

　　这些数据是否安全可靠？

　　如何使庞大繁杂的数据变得易于管理？

　　……

　　可见随着 “数字化转型”进程的推进，企业对数据的要求也随之提升，从“量”变逐渐往“质”变的方向发展。“可信任数据”（Trusted Data）将成为企业竞相争取的下一座金矿。

　　其实数据就如原油，只有经过提炼才能发挥无尽的潜能，“可信任的数据”即经过提炼后的石油，那么究竟何为“可信任数据”？从字面上理解，它主要有两层意思：

　　其一，数据完整、准确。大数据并非只是指其数据量之大，更体现在其所蕴含的价值之大。通过保证数据的完整和准确，使数据的价值得到体现，数据完整、准确是“可信任”的根基。

　　其二，可值得信赖。数据质量是确定决策所使用的数据是否可靠的一个基本考量因素。“可信任的数据”整合来自任何来源的可信数据，将其组合成有意义、有价值的信息，这样的数据是值得依赖的。

　　高质量的数据是大数据发挥效能的前提和基础，企业获取“可信任数据”，势如夺金。而通过强大的大数据分析技术是获取“可信任数据”发挥大数据价值的重要手段。想必这时候你就会问，如何获得“可信赖数据”呢？作为数据管理和分析领域的强手，IBM给出了数据收集，集成到管理整个生命周期的解决方案，帮助企业从海量数据中获得洞察，助力科学决策。

　　数据提质必经站——Information Analyzer

　　企业经常碰到几个数据质量问题，如：数据不完整，数据不一致，数据逻辑错误，数据有错误等。要想获得高质量的“可信任数据”，则必须规避这些问题。IBM Information Analyzer就很好的解决了这些问题，它就像是一个提质站，提供了数据质量评估、数据质量监控和数据规则设计与分析功能，帮助企业降低错误信息所带来的风险，保证“可信任数据”顺利交付。

　　通过 IBM InfoSphere InformationAnalyzer 软件工具实现对数据进行全面分析，包括技术层面和业务层面，体现如下：

　　标准评估：为企业数据源的结构、内容和质量建立一个全面、整体的认知。

　　数据规则：通过定制并不断地调整自定义数据质量规则来对数据进行更深入的质量验证，趋势预测和模式分析。

　　报告指标：通过对分析结果的鉴别、评估以及异常管理来限制数据质量的恶化，从而降低风险。

　　数据集成利器——DataStage +CDC

　　相信很多企业都有这么一个感觉，虽然大数据为企业机构在做商业决策等方面提供了强大的支持，但与此同时，错综复杂的数据本身对企业来讲就是一个挑战。如何将大量的结构化和非结构化数据转化成“可信任数据”是企业所急需的，IBM拥有DataStage和ChangeDataCapture（CDC）等多种数据集成解决方案正是为解决这些问题而生。通过将不同来源的数据组合成有意义、有价值的信息，帮助企业理解、清理、监视、转换和提供数据，确保信息的可信度和一致性，并对数据进行实时监管。

　　作为数据集成的两大利器，DataStage和CDC相辅相成，却又各有所长。IBM CDC是一种准确而高效的数据复制工具，可以帮助企业轻松地获取业务生产系统的增量数据；而DataStage 则是企业数据集成领域另一个专业而强大的ETL工具，拥有多处理器硬件平台的并行处理能力和可扩展的功能，可以高效批量处理海量数据。当CDC与DataStage“双剑合璧”时，就能实现快速地把业务增量数据，实时地按业务规则进行数据转换和集成处理，把最终处理结果更新到目标的分析系统中。

　　IBM DataStage 和CDC等数据集成方案适用于各个领域，尤其是银行、保险、大型制造业等行业领域。例如，华为借助DataStage ETL解决方案打通了各个业务之间的“信息孤岛”的问题；中国建设银行在建设海外开发中心的过程中，通过CDC使海外分行和北京中心建立了实时双向数据同步功能。

　　我的数据我做主——InfoSphere MDM

　　科学的决策一定是基于准确可靠的数据得出的，而想要获得“可信赖数据”，企业就需要拥有一套适合自己的数据监管方案。无论是银行、制造业、零售商或政府机构，都拥有自己的核心数据，即我们常说的主数据，一套强大的主数据管理可帮助企业创造出巨大的商业价值。IBM MDM为企业提供基于SOA 开放标准的主数据管理，可扩展的功能架构，和灵活地进行客户化定制主数据的管理方案，为所有业务部门提供及时、准确的主数据业务视图。MDM主要有三种部署方式：协作型、操作型和关联数据管理，企业可根据自身属性选择使用。

　　由于缺乏全局意识，很多企业所采用的应用程序只是为支持某个业务领域的运营过程而设计的，它们拥有自己的信息技术设施，包括与应用相关的数据存储和定义，其结果就是导致同步数据变得十分复杂，维护难度不减反增，数据质量很难确保。通过集信息集成、管理和共享于一身的IBM MDM，可很好的解决这些问题，5个步骤就能达到简化结构，降低成本，改进数据监管等目标：

　　1. 建模：用灵活的数据模型定义任意类型的主数据

　　2. 识别：快速匹配和准确识别重复项目

　　3. 解决：合并以创建可靠、唯一的真实来源

　　4. 联系：揭示各类主数据之间的关系

　　5. 治理：创建、使用、管理和监控主数据

　　大数据时代，企业的战略一定是从“业务驱动”转向“数据驱动”。未来有价值的公司，一定是数据驱动的公司。在这样的时代背景下，参差不齐的数据时刻困扰着企业业务发展之路，唯有从数据的源头到管理全过程确保数据的准确可靠，才能保障企业有效地挖掘隐藏在大数据中的信息，为“我”所用。

　　大数据处理信息服务商金盛网聚WJFabric认为，大企业对于新兴领域的布局往往是超前的，但鉴于其体量及需求等原因，布局的方向更多在于对新兴行业基础设施的搭建，因此，对于行业细分领域的研究仍然是创业的重要方向。以大数据为例，IBM的布局意在为行业提供发展基础，即数据的获得及精准性的提升，本质上是一种工具式的研发，而在大数据的应用方面，如何更好地将新技术与传统行业相结合，创造出更多的价值，这是留给创业公司的发展机会。

大数据时代，技术人的思想要如何改变?互联网快速发展，技术人又该如何适应技术变革?

如果你在看完一系列技术文章，看完厚厚一本技术图书后，还是疑惑不解……你或许需要的只是别人醍醐灌顶的几句话。

5月13-14日在上海&南京举办的开源中国OSC源创会，听听那些优秀的技术人才思考和解决问题的方式，以及他们在面对新事物和成长瓶颈时的晋升之道。

5月13日上海源创会当天报名突破900人，到场人数达500人，南京源创会当天报名突破400人，现场人数达200人。

Apache三大项目聚首，解密大数据新趋势

来自Apache的顶级项目，分布式OLAP分析引擎ApacheKylin、分布式实时监控和预警解决方案ApacheEagle，以及正在孵化的数据质量方案ApacheGriffin，将齐聚会上，分享其设计思路和原理，讲述其架构演进过程，并针对其中的难题和攻克方法进行深入剖析，解密大数据新趋势，为参会者提供最实在的大数据进阶指南。

巨衫PKMySQL，聚焦数据库新玩法

对于真正企业级应用，需要分布式NoSQL/NewSQL数据库具备什么样的能力?相比MongoDB等分布式数据库，他们的企业级应用场景挑战在哪里?巨杉数据库将现场针对企业级应用上的最佳实践，透视具体技术点。同时，随着.NETCORE的开源和跨平台，.NET技术栈又要如何更好的支持MySQL?微软大咖将讲述微软智能云MySQL数据库的便捷性和对.NETCoreEF的新玩法。

云中开发，利用容器提高编码生产力

Docker的出现简化了开发环境，消除反复安装和卸载依赖项的烦恼。作为身在企业的研发人员，该如何利用容器，改变现代IT的交付方式?RancherLabs大中华区技术总监将结合自身十多年的虚拟化、云计算等相关领域工作经验，分析如何利用容器提高编码生产力。此外，还会有PaaS平台技术专家针对企业级PaaS容器平台，提供独有的实践心得。

独家剧透，热门技术亮眼特性抢先看

每当新技术、新玩法出现，技术人总要去重新了解和学习。但如果你已提前知晓这些即将到来的新特性，是否会比别人更具优势?会议现场将揭秘大数据分析热门工具elasticsearch在业界的各种有趣案例，并抢先剧透后续版本，甚至是6.0版本的全新特性。GoogleAngulardevelopersPM大漠穷秋也将带来Angular4.0核心特性的分享和剖析。

除了前面介绍的部分内容，本次源创会还有更丰富的内容及一线专家带来精彩分享。活动现场开放交流区、互动展区、茶歇休憩区，并奉上经典美食，供参会者更深度、自由的讨论技术细节，交流经验心得。

活动详情：https://oschina/news/84136/2017-5-yue-yuanchuanghui

上海站合作伙伴：

南京站合作伙伴：

来源：金融界网站

12月15日，“京东·仙游——数字经济产业战略合作签约暨新闻发布会”在京举行。当天，京东集团与仙游县人民政府签署了数字经济产业战略合作协议。在数字经济发展新时期，这一系列合作致力于在全球工艺美术行业，打造具有话语权的数字经济产业中心，铸就实体经济与数字经济深度融合的“仙作”模式。

发布会现场图

作为工艺美术品之乡，仙游享有“世界中式古典家具之都”“中国工艺美术之乡”等众多美誉，工艺美术产业基础雄厚。京东是我国具有代表性的自营互联网企业，拥有电商、数科、物流、云计算等业务板块。双方强强联手，将京东集团在“互联网+领域的先进资源与仙游环境、区位和产业方面的优势深度融合，共同培育传统产业“数字化”发展的新动能。

当天的签约仪式，得到了莆田市各级政府领导和全国、省、市行业专家的高度重视。国家人社部原副部长杨志明，莆田市人民政府副市长陈志强，中共仙游县委副书记、仙游县人民政府县长吴国顺等领导莅临签约仪式；中国工艺美术协会、中国家具协会、福建省古典工艺家具协会、福建省红木工艺品协会、福建省油画行业协会等专家共同见证签约；京东集团副总裁杜正平，京东云公共业务部副总裁李永明，京东云华南大区总经理康亮，以及京东物流、京东数科等部门的代表参加了会议。

会上，莆田市人民政府副市长陈志强发表致辞。他表示，此次签约，是京东和仙游双方战略合作的良好开端，更是莆田数字经济发展、工艺美术产业转型升级的新起点。希望双方以此次签约为起点，加快推进项目实施，助推打造工艺美术千亿产业集群，打响国际品牌。同时，也真诚期待京东集团能够把莆田作为重点发展区域，进一步扩大投资合作，莆田将提供最优质的保障和服务，打造一流的营商环境，全力支持京东集团在莆发展，实现互利共赢。

莆田市人民政府副市长陈志强发表致辞

中共仙游县委副书记、仙游县人民政府县长吴国顺就“京东-仙游战略合作”进行了介绍。他表示，近年来，仙游工艺美术产业逐步驶入发展快车道。此次与京东集团的合作，是落实“数字福建”重大战略工程的重要一环。仙游将携手京东，打造一个平台、三个中心、一个研究院。建立全球（仙游）工艺美术品展示交易公共服务平台，全球工艺美术大数据中心、电商生态聚集中心、产业创新服务中心以及中国“仙作”工艺美术产业研究院。铸造仙游数字经济产业生态链，实现“数字产业化、产业数字化”，形成“买红木有仙作、买仙作上京东”的行业认知。

中共仙游县委副书记、仙游县人民政府县长吴国顺致辞

作为京东技术、资源、服务的输出窗口，京东云深入分析全球工艺美术行业发展业态、发展趋势，赋能仙游数字经济，不仅拓展电子信息产业业态，还将集聚仙游电商产业，吸引全国各地“京作、苏作、广作”红木家具以及书画、编织、雕刻、瓷器等工艺美术品电商企业落户仙游，提升创新创业营商环境，带动数字经济、平台经济的发展。京东云公共业务部副总裁李永明表示，京东云将调动集团云计算、大数据、电商、物流等优势资源，提升仙游提升数字经济水平，构建“仙作”在全球工艺美术领域的影响力，推动以仙游为代表的我国工艺美术产业做大做强。

京东云公共业务部副总裁李永明致辞

中国工艺美术协会副会长王山、中国家具协会副理事长张冰冰、中国收藏家协会副会长高可对本次战略合作给予了高度评价。他们表示，此次仙游与京东共建数字经济产业园，实现了共赢的局面。双方的合作将为工艺美术与家具产业发展打下又一坚实基础，对于培植新产业新业态新模式，增添新动能，推动高质量赶超发展具有长远意义。

京东集团与仙游县人民政府达成《京东（仙游）数字经济产业合作项目》，拉开了“京东·仙游——数字经济产业战略合作”的序幕将在全民消费提升新时期紧抓数字经济产业新趋势，赋能古典工艺家具产业。

现场签约

在签约现场，“京东·仙作品牌”启动仪式也随之举行。以期在数字经济时代，打造“京东·仙游战略合作品牌”，满足市场差异化需求，寻找传统行业破局新方向，为整个古典工艺家具行业开拓数字化发展新机遇。

品牌合作启动仪式

买红木有仙作、买仙作上京东。当天的发布会，吸引了人民网、光明网、中国网、东南卫视、福建日报等众多媒体的关注。现场媒体围绕仙游品牌打造、数字化转型和京东赋能地方产业发展等方面进行了现场提问。媒体期待，京东和仙游共同打造出全球工艺美术行业具有话语权的数字经济产业中心，为行业和用户创造更有益的价值。

关于京东云

京东云（JD Cloud）是京东集团旗下的全平台云计算综合服务提供商，拥有全球领先的云计算技术和丰富的云计算解决方案经验。京东云提供从IaaS、PaaS到SaaS的全栈式（Full Stack）服务，包含公有云、私有云、混合云、专有云在内的全场景（Full Services）服务，从IDC业务、云计算业务到综合业务的全频段（Full Spectrum）服务，京东云还致力于为合作伙伴提供覆盖全行业应用、为全行业提供平台支撑的全生态（Full Ecosystem）服务。同时，京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀，形成了从基础平台搭建、业务咨询规划，到业务平台建设及运营等全产业链的云生态格局，为用户供一站式全方位的云计算解决方案。

双活数据中心是未来数据中心发展的趋势，而存储双活又是数据中心双活的重要基础。

本方案基于智慧储存数据，综合提出“互联网+智慧储存”大数据平台解决方案，为大数据储存工作管理提供参考。

注：双活数据中心指出于灾备的目的，一般都会建设2个（或多个）数据中心。

结语

大数据时代，数据已经成为各行业至关重要的核心资产。“互联网+智慧储存”大数据平台解决方案能有效避免资源利用率低、可用性差、数据恢复慢、风险高等问题，便于保护数据的安全。

作为“手把手教你”系列的第 3 篇，本篇将为您介绍 Kyligence Cloud 如何在 Azure 平台上部署大数据分析集群，包括准备工作、集群创建、集群管理、数据建模与分析等内容。

1 关于Kyligence Cloud

Kyligence Cloud 是 Kyligence 公司基于云端的大数据服务，为客户将大数据分析平滑上云提供解决方案。使用 Kyligence Cloud，您可以在云端快速实现对 PB 级数据的交互式 OLAP 分析和关键业务查询的亚秒级响应，助力业务分析师和数据科学家快速发现数据内在价值，驱动商业决策。

Kyligence Cloud 支持在 Microsoft Azure 平台上部署，它基于 Azure HDInsight 云端 Hadoop 服务，将数据处理容量从TB级扩展至PB级，同时保持 OLAP 分析和关键业务查询的亚秒级响应能力。Kyligence Cloud 以用户的身份与 Azure 进行通信。用户创建集群时，Kyligence Cloud 使用用户提供的帐户信息，在其Azure 帐户下创建 HDInsight 集群及其它资源，并部署 Kyligence 大数据分析引擎 Kyligence Analytics Platform（以下简称 KAP），从而实现数据的存储、访问与分析都在用户自己的云端账户内进行，最大程度上保护数据安全。

Kyligence Cloud @ Azure 架构图

借助于 Azure 计算与存储分离的架构，用户可以方便地对集群进行扩容和缩容，甚至在不需要数据分析的时候，可以安全地停止集群而不用担心丢失数据。表结构、Cube 模型等元数据存储在用户帐户下的 SQL Server 实例中，Cube 数据会保存在 Azure Blob Store 中。

2 文档主要内容

本文档主要介绍如何使用 Kyligence Cloud 在 Azure 上部署大数据分析集群，并进行后续的数据建模与分析。

1. 准备工作

2. 创建集群

3. 管理集群

4. 数据建模与分析

5. 帮助与支持

3 准备工作

3.1

申请 Kyligence Cloud 试用

Kyligence Cloud 提供 30 天的免费试用，试用期间能操作一个集群，并能试用产品的全部功能。

可通过以下地址进行试用申请：

https://cloud.kyligence.io/cloudapply

填写相关信息并提交，Kyligence Cloud 将会对申请进行审核，申请通过后（通常一至三个工作日）会以邮件进行通知 。

3.2

准备 Microsoft Azure 帐号

Kyligence Cloud 以 Azure 作为底层计算和存储基础平台。本文仅介绍 Azure 的使用方法，您需要自己准备一个 Azure 帐号，并保证帐号中有可用的订阅，且帐号需具有分配角色的权限。

具体清单如下：

1. 准备1个 Azure 帐号（ Azure 中国或 Azure 海外皆可）

2. 保证帐号中有可用订阅（该订阅需能创建 HDInsight，Storage Account 等资源）

3. 保证该帐号具有分配角色的权限

4. 保证 HDInsight 的可用内核数量能满足您的需要

3.3

Azure 应用注册

Kyligence Cloud 通过 Service Principle 的方式来验证和操作你的 Azure 帐号。简单来说，通过将 Kyligence Cloud 进行 Azure 应用注册，获取该应用的应用程序 ID、应用密钥和目录 ID，以这三者作为 Azure 授权凭证提供给 Kyligence Cloud 使用。 如果不了解这些概念，没关系，跟随下面的操作进行即可。

在 Azure 的控制台中，依次找到 Azure Active Directory –> 应用注册 ->新应用程序注册。

在接下来的创建页面，名称一栏中填入“Kyligence Cloud”，应用程序类型选择“ Web 应用/ API”，登录 URL 填入 Kyligence Cloud Portal 地址：

https://cloud.kyligence.io

创建完成后，把应用程序 ID 记录下来。

之后点击 设置 –>密钥，在密钥页面输入密码描述，选择到期时间。点击保存，密码值将会生成，将生成的值保存下来。

在 Azure Active Directory –> 属性 中，找到目录 ID 并记录下来。

现在来为刚才创建的应用赋予权限。我们在左侧“所有服务”中找到订阅，在 订阅 -> 访问控制（标示和访问管理） -> 添加中，角色一栏选择参与者、选择一栏输入 Kyligence Cloud，之后点击保存即可。

4 创建集群

4.1

登录Kyligence Cloud Portal

Kyligence Cloud Portal 是Kyligence Cloud提供集群服务和大数据分析入口的用户交互界面。

可通过以下地址进行访问：

https://cloud.kyligence.io

进入后需先进行登录。如果是初次访问，还将需要选择基础云平台，在本文中我们选择 Microsoft Azure -> Azure China(operated by 21Vianet)，如果使用 Azure 海外帐号选择 Azure Global 即可。

之后将自动跳转至 Kyligence Cloud Portal，其界面如下图所示：

界面左侧为导航栏，有主页、集群、监控三个标签。

主页页面展示集群的一些概要信息、帮助信息和大数据分析平台的快捷入口；集群列表页面展示 Kyligence Cloud 所管理的集群，可在该页面操作具体集群；监控页面展示对集群的操作的详细进度和状态。

4.2

创建集群

点击左侧导航栏中的“集群”标签进入在集群管理页面，在该页面中点击“新建集群”按钮。

第一次创建 Azure 集群时，需要在弹出对话框中填入的 Azure 验证应用 ID、应用密钥和目录 ID，这三样东西我们已在章节二中准备妥当，对应填入即可。

填写完成后再次点击“新建集群”按钮，进入集群创建页面。在弹出的对话框中选择“创建新的 Hadoop 集群”。

在集群创建页面中，需要做一些必要的集群配置：

填写集群名称；选择集群密钥。集群密钥用于提交任务和登录集群仪表板，可以通过条目右侧“创建密钥”按钮进行创建；选择 SSH 密钥。SSH 密钥用于远程访问集群；设置集群节点。在集群拓扑结构中可以看到， 集群由两个头节点（负责任务调度）、一个边缘节点（KAP 安装于此）和若干工作节点（负责执行计算任务）组成。可以根据具体计算需求选择各类节点的类型（配置），以及工作节点的数量；选择 KAP 版本。同时也可以选择是否安装 Kyligence 自主研发的 BI 工具 KyAnalyzer ；设置邮件通知。集群的操作结果将会以邮件的形式通知到指定邮箱。

5 管理集群

Kyligence Cloud 不仅能快速创建出用于大数据分析的集群环境，还可以弹性地改变集群的规模，迅速响应用户的数据分析需求，实现成本优化。在没有数据分析请求时，甚至可以停止集群，系统会自动备份元数据和分析数据，之后可重新启动集群恢复至原本的状态。集群管理包括以下操作：

伸缩集群停止/启动集群删除集群

5.1

伸缩集群

当计算资源不足或过剩时，可以利用 Kyligence Cloud 动态调整集群规模。

可以通过动态增加节点的方式来应对日益增长的数据规模所带来的计算需求，整个过程安全快捷。相对的，当计算资源过剩时可以动态地缩减集群规模，减少集群的节点数量，以节约成本。

点击集群条目的折叠按钮，可以找到简要的节点信息，点击工作节点这一项右侧的“修改”按钮即可针对工作节点的数量进行调整。

点击工作节点右侧的“+”和“-”进行数量调整。

5.2

停止集群

当集群没有任何分析查询请求并长时间处于空闲状态时，此时 Azure 仍将对集群硬件收取费用，可以考虑使用 Kyligence Cloud 停止集群 来节省费用。

停止集群会为您安全地移除所有 Azure HDInsight 节点，并保存 KAP 和 Hive 的元数据至 BLOB 存储/SQL Server。可以在之后重启这个集群，元数据与分析数据也将随之恢复，集群一切如初。

停止集群，点击集群条目右侧的“停止”按钮即可。

停止操作大概持续十分钟，之后集群状态变为 STOPPED。你可以在之后任意时刻重新这个集群，仅仅需要点击一下“开始”按钮。

5.3

删除集群

当我们不再需要某个集群的时候，可以删除该集群。集群的一切资源将被移除，费用也将终止产生。注意删除集群会导致数据一同删除，且该过程不可逆，如果需要保留数据可以使用停止集群服务。

删除集群，点击集群条目右侧的菜单下的“删除”按钮即可。

6 数据建模与分析

集群启动完成后，我们可以使用集群内置 Kyligence Analytics Platform （简称KAP）进行大数据分析。

KAP 大数据智能分析平台，是一款基于 Apache Kylin 的在超大数据集上提供亚秒级分析能力的企业级数据仓库产品，为业务用户、分析师及工程师提供简便、快捷的大数据分析服务。

6.1

访问大数据分析平台 KAP

在集群处于 RUNNING 状态时，Kyligence Cloud 会在集群列表下对应的集群条目中展示 KAP 的入口。

6.2

使用 KAP 和 KyAnalyzer 进行大数据建模与分析

更多关于数据建模与分析的使用方法，请参考Kyligence Analytics Platform文档：

http://docs.kyligence.io/books/v2.5/zh-cn/index.html

您也可以点击 Kyligence Cloud Portal左侧导航栏中的“主页”标签获取。

7 帮助与支持

微软 Azure 降价，使用 Kyligence Cloud 成本下降超过50%

手把手教你使用Kyligence Cloud on AWS：集群操作篇

手把手教你使用Kyligence Cloud on AWS 准备和创建集群篇

Kyligence Cloud 正式发布 提供端到端的云上大数据解决方案

给力！48小时完成云端流数据接入与分析

一、方案概述

云坤大数据治理及开放共享平台以元数据为驱动，以数据梳理、信息共享为目标，为各级政府提供信息查询和共享服务，逐步建立跨部门、跨系统的信息交换体系，打破信息壁垒，支撑各业务单位和业务部门的信息交换、共享和协同工作，为政府及大型企业客户建立数据共享、交换、采集和管理的综合服务平台。

二、方案价值

1、内部协同：横向同级部门（管理职能域）之间、纵向各级部门（业务职能域）之间的数据传递、共享和协同。同时，也将包括城市、城区、园区、社区等的功能群组的内部数据协同。

2、外部开放：对企业、公民等服务对象提供政务相关的综合数据服务，完成数据层面的G2B & G2C等政府对外服务。如医疗卫生、环境气象、教育科研、户籍人口、交通运输、旅游观光等。

3、集中管控：提供数据规则的集中管理，解决数据管理分散、不统一、资源浪费等问题。

4、资源整合：通过整合相关政务数据资源，实现资源的整合管理，解决资源管理分散、不集中的问题。

5、数据治理：通过对元数据标准实现对数据采集质量的控制与保证过程，并通过主数据管理实现对综合业务的支撑。

三、服务优势

1、统一权限管控：基于权限管控，权限控制到个人，保障权限管理的的统一性、专业性。

2、多级安全保障：多重数据资源的安全加密及管控，数据可靠性更高。

3、智能资源调控：智能化动态业务专题模型建设，让数据指导战略规划和资源调控。

4、系统灵活扩展：不受业务条块分割影响，实现数据资源的整合开放共享。

5、可持续演进：平台遵循可持续演进的原则，以满足平台架构不断发展的需求平台所支撑的业务服务不断变化的需求。

一、高校大数据面临的机遇与挑战

数联寻英发布首份《大数据人才报告》，报告显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。但作为人才培养基地的高校领域，大多依赖于现有的IT环境进行教学和科研工作，导致大数据教学创新性和实战能力不足，教学内容与社会需求脱节。随着科研人员的思维和行为模式在传统学科的研究领域发生转变，如何借助大数据相关技术与资源，找到学科研究成果的新视角，已经成为高校领域的重要课题。

二、国云数据解决方案

国云数据凭借在大数据行业扎根多年的经验，懂得企业需要哪些大数据人才，从需求出发，从而建立国云的大数据实验室方案和课程体系，相关配套服务帮助高校做好大数据时代的教育转型。

1.大数据实验室总技术架构

2.方案细节

a.大数据分析课程体系

从四个方面规划：师资培训、教学资源包、教材研发和课题申报

b.大数据魔镜实训平台

分析平台：从数据采集-处理-分析-挖掘-建模-展示，提供一体化的操作台，帮助学生了解大数据分析整套流程。

挖掘平台：提供了各种各样的算法，这些算法用来在集群上针对分类、回归、聚类、协同过滤等。其中一些算法也可以应用到流数据上，例如使用普通最小二乘法或者K均值聚类（还有更多）来计算线性回归。

真实案列- 学生在实训课程上提交的应用案列

c.大数据培训课程认证体系

基于学校构建”大数据分析师”考证基地，国云数据作为工信部唯一授权的大数据分析师证书单位，针对院校、社会开展大数据分析培训及考证事项。证书分为初级、中级、高级。建议：高职高专、本科考初级，本科、研究生考中级、研究生及以上考高级。

d.就业支撑服务体系

针对就业服务支持体系策划了一系列内容，包括：学生就业实习推荐、商业项目实操协作、”创新杯”大数据分析大赛、全球华人分析师大赛、校园讲座、专家座谈、教学交流会议。

三、高校大数据解决方案的价值

1.提升学校服务体系

国云数据凭借在大数据行业扎根多年的经验，从企业需求出发帮助高校做好大数据时代的教育转型。目前全国签约合作的高校达六十多家，通过数字化的技术实力，为高校师生提供个性集成、多维度、全方位的贴心信息服务。

2.提供科学的决策支持

建立大数据实验室提供科学的决策支持，为管理层提供更合适的数据视图。为各部门日常内部管理及学校教育教学质量提高、高素质人才培养、高端人才引进、学术科研创新等战略管理决策提供科学的数据支持。

3.教学改革与时俱进

大数据实验室教学平台扩展学生在大数据研发领域的知识面，利于学生快速进入大数据研发领域，除了提供系统性大数据理论外更有实战性的操作环境提高学生的创新能力和动手能力。

4.提升学校以及学生社会竞争能力

定期邀请国内知名的大数据专家给学生分享真实项目案列、行业知识，为学校培养社会未来发展急需的人才，并与国内数百家公司达成合作推荐优秀的学生就业提高学校就业率。从外部国云数据有效解决了高校转型难、教学脱离社会需求的问题，帮助学生了解真正的商业环境获得具有竞争力的技能。

四、项目案例

哈尔滨工业大学、无锡职院技术学院 、安徽大学 、南京工业大学 、湖北工程职业技术学院，应用场景：高校大数据教育转型、大数据人才培养、高校大数据实验基地。

随着云计算和大数据的普及，越来越多的IT公司选择将自己的大数据解决方案部署在云上面。云计算和大数据的结合带来了什么便利呢?一个典型的大数据云又是如何设计和部署的呢?

下面我们以Google Cloud作为例子，讲解在工业界里边是如何实际应用云。

Google Cloud

Google作为分布式系统和大数据的领导者，开发了众多跨时代的产品。几乎每一个Google的产品，写出一篇paper就可以创造一个开源社区的。

比如MapReduce发布之后，开源社区根据Google的一篇论文开发出的Hadoop，BigTable发布之后，开源社区又进一步开发出Hbase等等。可以说没有Google的创新，就没有现在开源社区的繁荣。

而Google又把自家的产品，都放在Google Cloud上面，形成了丰富多彩的产品线，吸引了非常多的大大小小的公司如Snapchat等来使用。

Google App Engine (GAE)

我们都知道Web项目都需要大量的Web Service以及为之服务的运维系统。Google在云计算领域首次尝试的就是Google App Engine (GAE)，相对比当时的Amazon EC2，GAE只需开发者上传软件代码，其他部署将由Google完成。

用户只需要熟悉后端语言开发即部署大规模的集群。Google今年更是推出了GAE Flex，可以帮助用户实现auto-scaling，用户不再需要自己部署负载均衡的服务了。大部分中小企业的网站几乎都可以无缝衔接到GAE上。

BigTable

BigTable的底层是注明的Google File System (GFS)，他实现了数据中心级别的可靠的分布式存储。

也是最早的NoSQL数据库的一种。各种网站如果有需要永久存储的数据，一般都可以存放在BigTable里边，Google Cloud会自动帮你做replication，分布在不同的服务器节点里边，这样实现了可靠的分布式存储。

Dataflow

Dataflow的底层实现利用了大名鼎鼎的MapReduce的升级版Flume。

Dataflow特别方便进行大量的批处理，举个例子来说，比如要把所有的用户数据里边的格式都升级一遍，用GAE或者其他service是很难实现的。

Dataflow也提供了特别多的接口，诸如BigQuery, Datastore, BigTable等等也是为了方便各种批处理。最近Google还提供了streaming(流服务)版本的Dataflow，可以实现持续不断的批处理。

BigQuery

BigQuery相当于是Cloud version的SQL，可以方便使用各种复杂的查询语言查找数据。这个尤其适合数据分析师进行各种数据分析，几乎各种SQL的语法都是支持的。

但是BigQuery在scaling上并不如BigTable，并不是面向用户的，所以并不适合直接用来存储用户数据。只适合做一些离线分析，数据来源很多都是Dataflow从BigTable里边dump出来的一些拷贝。

其他服务

Google Cloud还有非常多的其他服务，诸如支持消息队列处理的Pubsub，支持缓存的Memchace，支持Monitoring的Stackdriver，等等完整的构成了一个企业数据云所必须的各种服务，可以满足大到Snapchat级别，小到各种startup的不同业务需求。

日前，2018 ABC SUMMIT百度云智峰会召开。百度云正式发布ABC3.0。以打造最落地的A、最安全的B、最先进的C为纲，精进更强能力，基于百度大脑3.0核心技术底蕴，对外全面开放多模态深度语义理解等110+业内最强AI能力；完善更多功能，引领端云一体化趋势，首推智能边缘、云端全功能AI芯片、最安全的存储等最新产品及解决方案；驱动更多行业，开启全产业智变引擎，深入金融、零售、制造、交通、机器人和农业等，行业版图持续扩张，智能化变革永不止息。

大会现场，百度云大数据解决方案亮相现场，兼顾开放灵活与数据安全双重属性，从组件化服务向平台化服务升级，并且在数据融合的过程中加强大数据产品的安全特性，为企业级客户提供最安全与开放的大数据解决方案，以帮助企业客服“数据安全焦虑”，从容应对协同计算带来的挑战。

数据安全成金融、政务等上云掣肘

如今，云计算成为企业数字化转型的基础设施。相比于以往封闭式的IT架构，企业级市场更倾向于通过云计算的弹性计算服务模式节省IT成本。更关键的是，云计算作为海量数据的载体，为上层AI及大数据应用提供场景基础。借助云计算、区块链等新兴技术打通数据孤岛，是企业间协同计算，推动行业智能化转型升级的必由之路。

但硬币的另一面是数据安全。近来频发的数据安全问题正成为企业上云的掣肘。对于金融、政务等高合规级的领域，确保数据安全和业务的连续性至关重要。以金融行业为例，随着云计算、大数据等技术对金融领域的深度介入，数据安全风险成为金融业面临的核心风险因素之一。同时，基于互联网诞生的金融服务模式无时无刻不暴露在网络环境之中，对于风险的控制面临更为严峻的挑战。

如何在突破大数据边界，打破行业壁垒的同时，确保企业客户的数据安全，是当下企业进行智能化转型时急需攻克的最大难题。

百度云打造最开放与最安全的大数据解决方案

本次峰会推出的大数据解决方案正是在数据安全和数据开放二者间寻求最优解的一次实践。技术造就的问题终归要靠技术本身来解决。百度云大数据解决方案在多个应用场景进行探索，为企业级客户提供兼具开放灵活与安全属性的大数据服务。

百度云认为，保证数据安全是数据融合的关键诉求。针对两方或多方数据的融合计算，以及不同机构间的辅助合作建模等场景，百度云加速研发多种安全计算技术以确保多方协同运算的数据安全。以金融业为例，Fintech企业在利用大数据建模技术，帮助银行优化信用卡风险模型过程中，百度云大数据通过MesaTEE SGX方案及隔离域的设计和划分为多方计算提供高效可信的执行环境，确保数据安全。

在数据安全的基础上，百度云大数据解决方案为企业客户提供开放灵活的数据服务。具体来看，百度云大数据提供从数据采集传输、离线数据存储及计算、在线数据建模到大数据分析与挖掘的一站式服务。通过日志采集与流式数据传输提升数据采集效率，结合BOS、HDFS等方式实现高效存储。同时，在数据计算环节，百度云基于BMR、BML及Infinite深度学习引擎，对数据进行深度加工及处理，并形成数据模型。而在上层的数据分析与出口环节，百度云基于数据挖掘平台Jarvis可视化呈现数据挖掘结果，为企业客户提供所见即所得的数据处理与建模方式。

大数据是锤炼算法模型的砺金石，数据质量的优劣直接决定AI能力的强弱。目前，作为百度云的原生服务，百度云大数据正经历一场“化零为整”的数据变革：Hadoop、Spark等组件化的服务统一为数据采集、数据存储、数据分析等数据洗练流程，将服务器转化为资源池，实现日均处理数据量80P+，作业数据量31W+，性能领先社区20%，显著提升数据能源的采掘率与转化率。

今天，行业上云成为共识，技术能力的飞速迭代并不意味着罔顾企业的数据安全。事实上，效率与安全也不应该成为企业智能化升级路上的主要矛盾。百度云此次发布最开放与最安全的大数据解决方案，将为社会组织之间的大规模协同计算做好准备，全面护航产业的智能化升级。

4月24日，国家工业与信息化部正式公示了“2017大数据优秀产品和应用解决方案案例”名单，云从科技“安防火眼大数据平台”成功入选。

云从科技研发的“安防火眼大数据平台”，从全国1000多家参评单位中脱颖而出，成功入选2017大数据应用解决方案，成为全国唯一入选的计算机视觉企业。

同时入选的有中国移动、中国电信、网易、阿里云、亚信等中国一流优秀企业。

此次公布的名单共100个，大数据产品类30个、大数据应用解决方案类70个，具有一定的代表性和标志性，对贯彻国家大数据战略，全面掌握我国大数据产业发展和应用情况，对地方、企业、行业和用户加强交流学习、提高认识、开拓思路，科学务实推进大数据产业融合创新发展具有较强借鉴意义和推广价值。

火眼人脸大数据平台简介

火眼人脸大数据平台是基于人脸识别及大数据分析技术，在深入理解公安业务实战需求基础上，结合ArcGIS等各类离线地图技术，通过接入监控摄像机、各类人证核验设备等，以精准检索、全城追踪、一键布控、区域巡查、重点人员管理，小区流动人员管控等各类人脸公安战法为核心的公安智能化人脸识别业务实战系统。火眼人脸大数据平台在全国24个省级行政区上线来，已协助各级公安机关破获3000+起案件，抓获超过600+名在逃和犯罪嫌疑人，为各级公安机关提供了新的实战业务思路和工具，深受公安好评。

“2017大数据优秀产品和应用解决方案案例”部分入选名单

(排名不分先后)