【笔者按】

无论是信息、知识还是当今热议的机器智能都是以数据为载体存在的，数据是对客观世界的记录，当我们赋予数据背景时，它就成为信息。信息是知识的来源，当把信息提炼出规律的时候，就上升为知识；有独创性、显著性或创造性的知识产品就成为知识产权客体。本文讨论的平台数据内容兼或包含了数据、信息、知识产权客体，平台数据纠纷亦然包括了著作权纠纷、不正当竞争纠纷等方面。

引言

近期美国法院就hiQ公司与LinkedIn公司之间的数据纠纷作出禁令裁决，可以看到在世界范围内，互联网平台数据保护的争议也非常之大。法院认为“平台上的数据由用户自行发布在公共空间，LinkedIn不能证明他们拥有这些数据，从而也就没有权利屏蔽他人使用这些数据。而且理论上说，任何人可以手动点开每一个人的信息，拿纸笔抄下来，然后再录入到电脑里”。据此，法院要求LinkedIn在24小时内停止通过技术措施阻止hiQ公司获得上述公开数据。

但细经思量，Linkedin虽然对用户公开的资料并无所有权，但对其创建的网络空间是否享有所有权或控制权？或者LinkedIn是否有权对其提供的网络空间实施一定的阻隔措施？但网络空间毕竟不同于物理空间，网络空间内容数据的“访问”与“自力”救济（限制访问措施）引起的法律争议也由来已久。从回溯性角度考察平台数据之争，可以发现随着技术和商业模式的变化，平台数据呈现出阶段性的特点，并对立法和司法形成一股“倒逼”之势。

一、web1.0时代，侵犯动产理论、合理使用、避风港规则交替适用，旨在打破网站信息保护之门。侵犯动产理论并不全然适用于“网络空间数据内容的访问”（website access），合理使用、系统缓存等制度更获青睐

网络空间数据内容的“访问”（website access），包括籍由搜索链接（link）、网页快照、数据抓取、端口接入等技术实现对网页、客户端内容的“获取”，以及将相关内容呈现或推送至用户终端的行为。

对网络空间内容的“访问”是否必须经过授权，世界各国以及相关的国际条约中，都没有对其做出明确的规定，我国的法律及司法解释也没有明确的规定。网络空间内容的访问涉及到网站经营者、访问者（搜索、链接等服务提供者）与互联网用户三者之间的关系，关乎着互联网经营者与社会公众之间的利益实现。从回溯性角度考察，以往的判例考量了网络所具有的开放性特征，资源共享是网络产生的初衷，因此保护网络信息的自由流通和利用成为早期互联网内容访问是否构成侵权判定的重要因素。法院遵循了这样的逻辑，只有在计算机网络或网络内容并不是任何人都能接触到的情况下（采取了自力救济，如技术措施、密码保护等），法院才会根据侵犯动产的原理来追究行为人非法入侵的法律责任。

侵犯动产的理论应用到互联网领域，可概括为以下几个规则：首先，在网络空间生成并存在的内容蕴含着欢迎他人来访问、设链的内在要求，即默示许可；其次，网站经营者或所有者采取了必要措施限制（自力救济手段：如网站显著位置的声明、设置元标签、设置爬虫协议）他人访问；第三，违反、规避上述限制措施，才可引发进一步的侵权之诉；第四，网站经营者或所有者可享有普通法上的禁令救济；第五，受害方承担损害后果的证明责任。此种主要是对损害的证明，比如对计算机服务器的损害；将来损害的潜在危险（他人效仿的侵权行为）；持续性的经济损失（商誉损害或消费者评价的降低，如垃圾邮件）。

在网页版权系列纠纷中，如 Field v. Google Inc.等相关案例中法院基于（搜索引擎）这一自动搜索过程，从技术上合理推定网站所有人同意制作和保存其网页副本，大多数网页内容的所有者（版权人）对未经许可复制并保存其作品副本的行为持容忍态度，毕竟版权人从网页保存服务中获益良多。当然法院也不乏通过合理使用制度、临时复制、避风港规则等来论证网页保全行为的正当性。

二、互联网及移动时代，网络平台数据之争在国内的阶段性变化

阶段一：垂直搜索平台数据之争，以实质性替代标准评判数据内容控制权边界

这一阶段以大众点评诉爱帮网系列案件为典型。汉涛公司通过商业运作吸引用户在大众点评网上注册、点击、评论，并有效地收集和整理信息，进而获得更大的商业利润，法院认定该合法权益应受法律保护。爱帮科技公司作为提供搜索、链接服务的网络服务商，应遵守法律规定和相关行业规范，对于特定行业网站信息的利用，须控制在合理的范围内。但爱帮网对大众点评网的点评内容使用，已达到了网络用户无需进入大众点评网即可获得足够信息的程度，超过了适当引用的合理限度，事实上造成爱帮网向网络用户提供的涉案点评内容对大众点评网的相应内容的市场替代，对汉涛公司的合法利益产生实质性损害，构成不正当竞争。而后百度地图与大众点评案法院基本遵从同样的审理逻辑，认为二者在为用户提供商户信息和点评内容的服务模式上近乎一致，双方存在直接竞争关系。百度地图大量使用大众点评网的用户点评，替代其向网络用户提供信息，会导致大众点评网的流量减少。百度公司大量、全文使用涉案点评信息，实质替代大众点评网向用户提供信息，对汉涛公司造成损害，其行为违反了公认的商业道德和诚实信用原则，具有不正当性，构成不正当竞争。

阶段二： 网站设链权与禁链权之争，未决的技术规范与法律“权利”之博弈

该阶段以百度诉360搜索引擎违反Robots协议、不正当竞争纠纷案为代表。该案首次从司法判决角度对Robots协议效力作出了评述，认为Robots协议仅是一种网站程序编写的技术规范，并非法律意义上的协议或者合同。Robots协议作为一种技术规范，其作用只在于标示该网站是否准许搜索引擎爬虫机器人访问、准许哪些搜索引擎爬虫机器人访问。但爬虫机器人识别该Robots协议内容后，无论爬虫机器人是否遵守，Robots协议都不会起到强制禁止访问这一技术措施的作用。从另一个方面来讲，Robots协议作为互联网本领域技术人员通俗易懂、操作简便的技术规范，已经成为一种国内外互联网行业惯例，应得到普遍遵守。法院同时认为，网站除非有正当理由（如网站服务器或带宽的承受能力、用户隐私保护、特定经营模式下对收费权的保护等），不得以Robots协议拒绝搜索引擎抓取其内容。言下之意，一般情况下Robots协议不应成为内容网站“限制”搜索引擎抓取的“权利主张”，须网站举证证明拒绝的理由具有正当性，但正当性作为法律价值判断，由商业性网站承受显然过重。

阶段三：用户属性数据权属之争，再次拷问信息抓取行为的边界

备受关注的“脉脉非法抓取使用新浪微博用户信息”案历经二审，法院最终认定脉脉方未经用户允许和微博平台授权，非法抓取、使用新浪微博用户信息，非法获取并使用脉脉注册用户手机通讯录联系人与微博用户的对应关系，构成不正当竞争。脉脉抓取的涉案数据信息同时具备以下条件（非用户发布内容）：新浪微博提交的公证书显示，其主张被非法抓取、非法使用的新浪微博用户信息均为非脉脉注册用户信息，注册用户数据信息（名称，性别，头像，职业等）而非用户发布的内容，用户数据信息直接体现在脉脉客户端可见的“X度人脉关系”。本案中新浪微博并没有提交直接证据证明涉案数据为脉脉从新浪微博抓取，同时脉脉也无法提供非脉脉注册用户的涉案数据来源，法院是依据优势证据原则，推定为脉脉抓取了非脉脉注册用户的但属于新浪微博注册用户的涉案数据。二审法院认为新浪微博拥有上亿用户的个人信息,庞大的用户群及数据信息成为新浪微博在社交软件中的竞争优势。但是在0pen API的接口权限设置中存在重大漏洞,被侵权后无法提供相应的网络日志进行举证,对于涉及用户隐私信息数据的保护措施不到位,暴露出其作为网络运营者在管理、监测、记录网络运行状态,应用、管理、保护用户数据,应对网络安全事件方面的技术薄弱问题。为保护新浪微博用户的个人信息及维护新浪微博的竞争优势,应当积极履行网络运营者的管理义务,防止用户数据泄露或被窃取、篡改,保障网络免受干扰、破坏或者未经授权的访问。在该案中同样引发热议的另一问题是：平台能不能基于自身经营所收集的用户信息主张平台权利？或者平台能不能将用户的权利“拿来”作为自己竞争的优势？法院没有确认平台可以基于自身经营对用户的相关信息主张自己的财产权，但基于大数据发展趋势，法院认为平台数据是一种财产，是一种应当被保护的利益，但是并未涉及保护的方式以及救济措施的设置。

数据纠纷方兴未艾，菜鸟顺丰、京东天天快递因物流数据短兵交战，腾讯华为再起用户数据之争，倒逼立法。

三、数据立法与规则反思

《网络安全法》的施行，标志着网络空间安全管理及用户个人信息保护进入崭新阶段，但该法仍未涉及对网络数据的共享和流动的法律调整。如果没有数据产权制度、数据流通交易制度，那么数据企业平台将会依据其先占的竞争优势，拒绝其它数据平台访问或接入，或者向其索取高额端口接入费的方式，会损害最终消费者的福利，这种畸形发展的结果是网络空间最终可能会变成信息孤岛。未来在数据平台互通访问规制模式上，我们至少须解决以下三个问题：第一，是否要对数据平台经营者赋权的问题，包括赋予哪项权利、哪些权能、权利的效力范围等；第二，在数据平台经营自主权与数据共享互通的规制上，数据平台的“关门”权与其对访问、接入容忍义务的平衡点在哪里？第三，在用户数据的收集使用上，细化并明确数据平台获取数据资源的合法途径、使用范围和使用方式。

【IT168 技术】摘要：通过对数据处理阶段性发展的解析，分析大数据、人工智能技术的发展趋势。结合实际生产需求，验证了基于容器云架构的新一代大数据与人工智能平台在数据分析、处理、挖掘等方面的强大优势。

关键词：大数据 人工智能 云计算 Docker 基础能力 多租户

Abstract：Through analyzing the staged development of data processing, this paper analyzes the development trend of big data and AI technology. According to the requirement of customers, the new generation of big data and AI platform based on Docker Cloud verify the powerful advantages in data analysis, processing, mining and so on.

Key Words：Big data; AI; cloud computing; Docker;basic abilities; Multi-tenant

引言

人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值;同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸;此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术，在容器云平台上构建大数据与人工智能基础公共能力，结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行融合。

数据处理的发展阶段

随着信息技术的蓬勃发展，特别是近十年，移动互联技术的普及，运营商、泛金融、政府、大型央企、大型国企、能源等领域数据量更是呈现几何级数的增长趋势。数据量的膨胀除了带来了数据处理性能的压力外，数据种类的多样性也为数据处理手段提出了新的要求，大量新系统的建设同时产生了众多数据孤岛，给企业的数据运营维护与价值发掘带来了重大的挑战。随着大数据技术的不断发展，企业的数据处理技术转型也经历了几个阶段，如图1所示。

▲图1 企业数据处理转型的阶段变化

在第一阶段，大数据技术发展的早期，为了打破数据孤岛，将各类数据向大数据平台汇集，形成数据湖的概念，作为多源、异构的数据的数据归集，在此基础上进行数据标准化，建立企业数据的汇聚中心。在这个阶段，对非结构化数据处理以存储检索为主，对结构化数据处理提供各类API和少量SQL支持，使海量的以SQL实现为主的业务难以迁移到大数据平台，新业务开发使用门槛高，大数据技术的推广受到阻碍。

在第二阶段，企业客户的需求集中表现为，如何更好地处理结构化数据以及将老的IT架构迁移到分布式架构中。各大数据平台厂商开始在SQL on Hadoop领域进行研发和竞争，不断提高SQL标准的兼容程度。在这个过程中，Spark诞生并逐渐取代了过于笨重且TB量级计算性能存在缺陷的MapReduce架构，Hadoop技术开始向结构化数据处理分析更深度的应用领域进发。随着SQL on Hadoop技术的不断发展与星环科技解决了Hadoop分布式事务的难题，越来越多的客户在Hadoop上构建新一代数据仓库，将Hadoop技术应用于越来越多的业务生产场景，技术门槛的降低，使越来越多的客户可以利用强大的分布式计算能力轻松分析处理海量数据。在这个阶段后期，随着企业客户对实时数据分析研判需求的不断提高，流处理技术得以蓬勃发展。

在第三阶段，一部分企业已经完成了由基于关系型数据库为核心的数据处理体系向基于大数据技术为核心的数据处理体系的转变。在本阶段早期，很多企业客户不满足于通过SQL基于统计对数据的分析和挖掘，促使传统的机器学习算法开始实现分布化，但主要还是针对结构化数据的学习挖掘。随着深度学习技术和分布式技术的碰撞，演化出了新一代的计算框架，如TensorFlow等，计算能力的提升，并结合大量训练数据，使机器学习人工智能技术在结构化与非结构化数据领域产生巨大威力，开始应用于人脸识别、车辆识别、智能客服、无人驾驶等领域;同时，对传统机器学习算法产生了巨大冲击，一定程度上减少了对特征工程与业务领域知识的依赖，降低了机器学习的进入门槛，使人工智能技术得以普及。另一方面，可视化的拖拽页面、丰富的行业模板、高效率的交互式体验，极大地降低了数据分析人员的使用门槛，让人工智能技术进一步走入企业的生产应用。

大数据、人工智能与云技术的融合

随着企业内部对于数据资源的应用不再仅仅局限于IT部门，越来越多的内部项目组与分支机构加入大数据平台的使用中，加之数据处理技术的不断发展，如何解决基础平台的资源隔离问题、管理分配问题、编排调度问题;如何将企业业务应用需要的基础服务能力做更好地抽象，降低应用所需的基础服务的环境搭建、开发、测试部署周期，提升IT支撑效能;如何更好地管理众多的基于大数据与人工智能开发的应用等等成为企业急需解决的问题。

在大数据技术发展的早期，仅仅是在计算框架MapReduce中提供简单的作业调度算法，随着资源管理的需求，在Hadoop 2.0时代，Yarn作为单独组件负责分布式计算框架的资源管理。但是，一方面，Yarn仅仅能够管理调度计算框架的资源;另一方面，资源的管理粒度较为粗放，不能做到有效的资源隔离，越来越不能满足企业客户的需求。

云计算技术作为资源隔离封装虚拟化，以及管理调度的技术，本应应用于解决上述问题。但是，在Docker容器技术被广泛接受之前，云计算虚拟化技术主要基于虚拟机封装资源，并在其之上加载操作系统，资源利用率低，早期有厂商尝试将大数据平台构建在基于虚拟机技术的云化方案上，由于资源利用和稳定性问题，在私有云上的尝试鲜有成功案例。在公有云方面，借助公有云较为强大的基础平台硬件与运维支持能力，有一些非核心业务的应用尝试。

随着Docker、Kubernetes等容器技术的发展，与微服务等技术概念的形成，大数据与人工智能基础平台开始基于容器云构建底层资源管理与调度平台。容器云就像一个分布式的操作系统，将集群中的各类硬件资源进行封装、管理以及调度，将封装的资源作为容器承载大数据的相关组件进程，再将这些容器进行编排，组成一个个的大数据和人工智能的基础服务，如分布式文件系统HDFS、NoSQL数据库Hbase、分布式分析型数据库Inceptor、分布式流处理平台Slipstream、分布式机器学习组件Sophon等。由这些基础服务编排构建公共能力服务层，提供如数据仓库、数据集市、图数据库、全文搜索数据库、流处理服务、NoSQL数据库、机器学习平台服务、定制图像识别服务等，为企业打造全新的数据处理核心系统。基于这一核心系统服务于各类企业的不同部门。通过资源隔离技术，通过对每个租户的资源分配和权限管理，满足业务分析人员的个性化分析需求，专注于业务逻辑的开发和数据的分析挖掘。

技术融合的应用

中国邮政大数据平台建设以Transwarp Data Hub(以下简称TDH)与Transwarp Operating System(以下简称TOS)作为基础架构系统，搭建的新一代逻辑数据仓库和数据集市，完全取代了Teradata和Oracle。

总体架构与实现

中国邮政大数据平台服务于量收、邮务、名址等系统，同时运用容器云TOS实现创新多租户的数据分析挖掘环境。建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对邮政各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持;为省分公司基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑，满足邮政经营分析管理及决策支持。

中国邮政大数据平台以五大基础服务集群域为基础，分别是数据湖集群域、企业数据仓库集群域、省分服务集群域、机器学习实验室集群域、开发/测试/培训集群域。

(1)数据湖集群域：基于TDH平台搭建的数据湖，主要承担多源异构的数据归集，数据湖内包括：原始数据池、清洗加工数据池、整合加工数据池等。

(2)企业数仓集群域：基于TDH搭架的数据仓库集群，基于大数据创新搭架逻辑数据仓库，用于迁移改造原有基于Teradata搭架的数据仓库，数据集市和基于Oracle搭建的报刊集市的邮政量收管理系统。

(3)省分服务集群域：基于TOS搭建容器化多租户数据分析平台云。为省、市分公司开发人员和业务人员提供省分多租户的平台环境，集团分发数据与自有数据存储计算，自有应用的开发与管理，独立租户使用运行。

(4)机器学习实验室集群域：基于TOS搭建的容器化多租户大数据机器学习平台，为集团数据中心分析师提供多租户的开发实验环境平台，进行数据探查、业务建模、算法研究、应用开发、成果推广等。

(5)开发/测试/培训集群域：为应用开发人员、系统测试人员、培训师、学员提供多租户的大数据与机器学习平台，为开发商及内部单位提供开发测试培训服务。

以此为基础，达到了数据管理、服务管理、运维管控、安全管控四个维度的统一。在风险管控、决策支持、服务支撑、流程优化、品牌创新、交叉营销六大应用领域展开应用。实现了租户管理、数据治理、数据加工、数据挖掘、数据探索、数据展现六大平台功能。

数据湖和数据仓库基于TDH构建，将包括业务系统数据、实时流数据、合作单位数据、互联网数据等不同数据源，通过ESB接入、ETL工具、Kafka、Sqoop、文本上传、人工接入等方式，统一汇聚进入数据湖。加工后获得的数据资产发布到数据资产目录，通过数据资产目录的构建TDH与TOS用户间数据交互体系。便于用户快速检索数据，通过数据资产目录实现对数据的集成、融合、安全、共享。数据资产目录包括：元数据、主数据、数据安全、数据标准、数据质量、数据轮廓、数据生命周期等。此外，企业用户通过大数据门户按需申请租户存储计算资源、数据资源、审批流程通过后，集群资源管理员按需快速部署集群，自动化将数据从数据湖加载入数据分析集群或省分集群对应的租户空间，供数据开发人员使用。数据开发人员会将数据应用成果固化到数据湖内，对外提供数据服务。

数据仓库与数据集市的完整迁移

中国邮政大数据平台是全球首个采用Hadoop(TDH)技术完全取代Teradata和Oracle的混合架构搭建新一代逻辑数据仓库和数据集市的系统。

原量收系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间目前已接近30TB，现有使用用户约5万人，提供近约900张报表的灵活查询，单日报表查询频次最高能达到40万次，月初高峰查询需支持约2000计算查询并发。

通过项目前期大量调研准备工作，制定了切实可行的项目实施方案。量收管理系统的总体架构、ESB、BI工具、ETL工具、调度工具、门户等都保持不变，仅将原量收系统的数据仓库和数据集市，使用大数据平台进行完全替换，降低了整个迁移风险。

整个迁移过程中，包括环境部署、模型迁移改造、接口迁移改造、数据迁移、ETL迁移改造、报表迁移改造、数据核对、性能优化、业务应用迁移、风险控制，系统测试等。例如模型迁移改造，不改变原有业务逻辑，只需对接口层模型，基础层模型、汇总层模型进行轻度改造。对于模型改造来说，系统基础层模型结构相对复杂，关联度相对较高，原系统使用Teradata数据库。TDH全面兼容Teradata的数据类型与SQL方言，降低了迁移成本。同时迁移完成后，性能大幅提升，见图2。

▲图2 迁移前后数据集市业务场景500并发测试性能对比

基于容器云的大数据与机器学习平台的全面应用

基于TOS实现的多租户新模式，将大数据与机器学习平台组件完全容器化实现，并在TOS提供能力服务。集团统一部署企业内部云平台，对邮政各个租户(集团、省分、市局等)动态分配存储、计算、网络等资源，并实现完整的资源隔离，使得各个租户数据分析人员和业务人员获得相对独立的资源环境，赋能业务创新，同时可动态调配资源，实现资源的共享优势。

集团、省分、市局各级人员通过多租户平台，实现资源发布、申请，使用及应用开发、成果推广。通过项目立项申请审批后，省分项目组人员在租户空间内，接入访问数据资源，使用平台服务资源，大数据分析工具及机器学习挖掘工具展开数据分析挖掘工作，具体开展数据处理、模型开发、算法应用、应用发布等，在审批验收之后，将成果推广到数据湖上部署对全集团提供数据应用服务。

通过TOS+TDH搭架厚平台、薄应用的微服务架构，实现租户之间的异构性、独立测试与部署、资源按需伸缩、高性能计算能力、租户间错误问题隔离、团队全功能化。实现数据资产化管理。面对集团数据多样、海量、跨板块、跨专业的需求，集团对数据进行了全面梳理，创新集成各版块、专业数据，创建数据资产目录便于快速检索获取资产，管控治理资产，让数据即资产从理论阶段上升到实现阶段。

结语

随着企业数据处理与服务需求的不断发展，由大数据的汇聚，分布式技术释放计算能力开始，技术不断延伸发展，大数据、人工智能与云计算的边界越来越模糊，�...

何为大数据精准推广？

大数据精准营推广就是在各个平台上几亿的用户找出我们客户（产品营销商家的客户），在这些用户中去推广我们的产品知识，达到我们精准营销的效果。

在现在国内的互联网平台上，每时每刻都在产生各个行业的数据，这些数据中有很对对于我们有价值的信息，比如某某今天在某平台上面发布、关注我们行业的类似信息（包括我们行业的），那怎么去找到这些客户呢？就可以接下来就可以使用我们的大数据去统计。

目前可操作的平台为8个（今日头条、咸鱼、支护、微博、喜马拉雅、腾讯扣扣、腾讯视频、优酷视频），这几个平台的优点是：1、流量大。2、具有强大的商业价值.3、能支持我们进行精准的数据分析。当然现在的平台也是特别多的，其他排名比较靠后的平台我们也是可以进行分析的（只要其数据能够进行精准分析，其商业价值比较大）。

在前期我们会针对客户所在的行业做一个行业报告，同时也为后面对数据的精准抓取做准备。在客户使用前期做行业报告时提供的方法获取满意的流量后，后期我们就可以给他们提供我们为他们在平台上抓取的数据了。

抓取数据的方法步骤如下（按照今日头条数据为例）：

一、利用4台服务器在互联网平台上抓取今日头条的所有数据，其中包括基本信息（头像、昵称、个人说明、他的关注、他的粉丝、动态、和包括特殊的头条号下面的文章视频等）、隐藏信息（例如此用户看了哪些文章、评论了什么）、协议信息（我们会找到协议接口看此用户一些隐藏的信息，例如他收藏了哪些文章以及他对某种生活中不好表达特殊爱好或者物品），我们这4台服务器都是24小时不断对更新的数据进行抓取。

二、在第一步采集的数据中都是杂乱无章的，其中包括对我们没有利用价值的和我们不能分析的（比如：链接，图片，没有商业价值等）现在会使用两台服务器对他进行分析，然后再使用两台服务器对这些抓取的数据经行一个标签化，在标签化的时候会对数据进行算法运算（具体的运算方式就是核心的东西，是不能告知的），举个例子：我们公司之前做群控的时候的客户标签就是：1、老板，2、开公司，3、营销寻找客户等；然后把这些数据放入我们的数据库（注：这些数据是没有电话号码或者微信号的，就算有我们也不会给你们的，这些敏感数据在互联网安全法中明确是违法，而且就算是微信号你们添加通过率也是很低，而且也会导致封号）

三、我们在前期的时候对你们的行业做报告的时候会有行业的关键词，现在我们把这些关键词放入我们的数据库中赛选就可以选出你们需要的客户数据。

现在的数据就是我们给你们抓取的精准数据，完成我们全部流程的30%，剩下的就是如何把我们抓取的这一批精准数据导入我们的常用聊天工具（现在主要是微信）

现在我们就会对这些数据用户提供诱饵（前期的报告中我们就会分析出来），就像我们平时钓鱼一样，鱼上钩必先食饵，鱼竿鱼钩就是我们后期使用的自动化营销工具（其中包括我们提供的方法，方案，软件和硬件），利用这些软件把我们的客户导入我们的聊天工具。

在使用我们自动化营销工具的时候我们会提供一个指标，对你们那边的操作人员进行管理考核，如果完成这个指标才能达到我们前期的预想效果。

在这批数据导入微信后我们会提供一个激活系统和一个转化系统，把我们数据中部分有欲望但是在纠结的客户转化下单。

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

从底层逐步往上，如图所示表示这么几个环节：

一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。

二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。

三、数据存储：指的就是数据仓库的建设了，简单来说可以分为业务数据层（DW）、指标层、维度层、汇总层（DWA）。

四、数据共享层：表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API ，代表的是一种数据间的连接方式，还有一些其他连接方式，可以按照自己的情况来确定。

五、数据分析层：分析函数就相对比较容易理解了，就是各种数学函数，比如K均值分析、聚类、RMF模型等等。

列存储让磁盘中的各个Page仅存储单列的值，并非整行的值。这样压缩算法会更加高效。进一步说，这样能够减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常大的算力才能解决的问题分成很多小部分，接着把这些部分给到许多计算机同时处理，然后把这些计算结果综合起来，得到最终的结果。

综合这两种技术，就能够大幅度提高分析环节的效率。Yonghong MPP可以说是目前在这两方面做的最出色的了。

六、数据展现：结果以什么样的形式呈现，其实就是数据可视化。这里建议用敏捷BI，和传统BI不同的是，它能通过简单的拖拽就生成报表，学习成本较低。国内的敏捷BI中，个人用户推荐Tableau，像银行这类的企业级需求推荐Yonghong BI 。

七、数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。

二、银行数据分析体系如何搭建？

搭建一个数据平台可能是项目制的工作，在一段时间内会完成，但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时，将金融行业同类的数据应用经验也分享给你，帮助你去搭建数据分析体系，那就是真正的“良药”了。

下面分享一个YonghongTech帮助某大型银行数据服务平台建设的案例。

以客户在银行办理业务的行为路径，可以有这样几个主题，不同主题有对应的场景及其指标。

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

三、案例

鉴于篇幅问题，此处可以参考这篇文章：

华夏银行：大数据技术服务业务需求，实现销售高速增长

http://.baidu/builder/preview/s?id=1600613969915764917

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

本文根据链家赵国贤老师在DataFun Talk数据架构系列活动“海量数据下数据引擎的选择及应用”中所分享的《大数据平台架构从0到1之后》编辑整理而成，在未改变原意的基础上稍做修改。

大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何去克服、修复它，让平台更好满足用户需求，这就是本次主题的重点。下面是本次分享的内容章节，首先讲一下架构1.0与2.0，两者分别是怎么样的，从1.0到2.0遇到了哪些问题；第二部分讲一下数据平台，都有哪些数据平台，这些数据平台都解决什么问题；第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题；第四个简单讲一下在透明压缩方面的研究。

架构1.0阶段，底层是Hadoop，用来存储数据和分析数据。需要把log数据和事务数据传输到Hadoop平台上，我们使用的是kafka和sqoop进行数据传输。然后在Hadoop平台基础上，通过一个开源的Hive和oozie做一个调度，开发者写Hql来完成业务需求，然后将数据mysql集群或redis集群，上层承接的是一个报表系统。这个需求基本跑了一年，也解决了一些问题。但存在的问题有：（1）架构简单，不易解耦，结合太紧密出现问题需要从底层一直查到上面；（2）平台架构是需求驱动，面临一个需求后需要两周时间来解决问题，有时开发出来运营已经不需要；（3）将大数据工程师做成一个取数工程师，大量时间在获取怎样数据；（4）故障频发，比如Hql跑失败了或者网络延迟没成功，oozie是通过xml配置发布任务，我们解决需要从数据仓库最底层跑到数据仓库最高层，还要重刷msl，花费时间。

面对这些问题我们做了一次架构调整，数据平台分为三层，第一层就是集群层（Cluster），主要是一些开源产品，Hadoop实现分布式存储，资源调度Yarn，计算引擎MapReduce、spark、Presto等，在这些基础上构建数据仓库Hive。还有一些分布式实时数据库HBase还有oozie、sqoop等，这些作用就是做数据存储、计算和调度，另外还有一个数据安全。第二层就是工具链，这一层是一个自研发调度平台，架构1.0用的oozie。基本满足需求有调度分发，监控报警，还有智能调度、依赖触发，后续会详细介绍。出问题后会有一个依赖关系可视化，数据出问题可以很快定位与修复。然后就是Meta（元数据管理平台），数据仓库目前有3万多张表，通过元数据管理平台实现数据仓库数据可视化。还有一个AdHoc，将数据仓库中的表暴露出去，通过平台需求方就可以自主查找自己需要的数据，我只需要优化查询引擎、记录维护、权限控制、限速和分流。最上层将整个大数据的数据抽象为API，分为三个，面向大数据内部的API，面向公司业务API，通用API。大数据内部API可以满足数据平台一些需求，如可视化平台、数据管理平台等，里面有专有API来管理这些API。面向公司业务API，我们是为业务服务的，通过我们的技术让业务产生更多产出，将用户需要的数据API化，通过API获取数据就行。通用API，数据仓库内部的报表都产生一些API，业务需求方根据自己的需求自动组装就OK了。架构2.0基本解决了我们架构1.0解决的问题。

第二部分就简单介绍下平台，第一个是存储层-集群层，解决运维工作，我们基于开源做了一个presto。实习人员经过一两周能适应这个工作，释放了运维的压力，数据量目前有18PB,每天的任务有9万+，平均3-4任务/分钟；第二个就是元数据管理平台，这种表抽象为各个层，分析数据、基础细节数据等抽象，提供一个类似百度的搜索框，通过搜索获得所需数据，这样业务人员能够非常方便的使用我们的数据。它能实现数据地图（数据长怎样，关联关系是怎么样都可以显示出来），数据仓库可视化，管理运维数据，数据资产非常好的管理和运维，将数据开发的工作便捷化、简易化。

第三个数据平台调度系统，数据仓库中的各个层需要流转，数据出现问题后如何去恢复数据。数据调度系统主要的工作有：（1）数据流转调度，可以非常简易的配置出数据的流转调度。（2）依赖触发，充分利用资源，能够让调度任务非常紧凑，能够尽可能快的产出我们的数据。（3）对接多个数据源，需要将多种多样的数据源集成到数据仓库中，如何将sql server数据、Oracle数据等数据导入到数据仓库中，系统能够对接多种数据源，因此我们财务人员、运营人员、业务人员都可以自主将数据接入到数据仓库，然后分析和调度。（4）依赖关系可视化。比如我们有100个任务是关联的，最底层std层有50个任务，中间层有20个任务，如果中间ODS层出问题了，会影响上层依赖层任务，通过可视化就能很方便定位。

除了前面三个平台，还需要一个平台来展示我们的数据，才能向我们的用户显示数据的价值。我们的指标平台支持上卷下钻、多维分析、自助配置报表，统一公司的各个指标。说一下统一公司的各个指标，比如链家场景，比如说一个业绩（一周卖出十套房子，需要提佣），16年我们发现有多个口径，因此通过指标系统将指标统一化，指标都从这里出，可以去做自己的可视化。还有各种财务人员、区长或店长也可以自主从指标平台上配置自己的数据，做自己的desktop，指标系统的后端使用后续讲Kylin的一个多维分析引擎支撑的。

指标平台架构，一个应用的可视化平台肯定需要底层能力的支撑，这次主题也是数据引擎，链家使用的是一个叫kylin的开源数据引擎，可以把数据仓库中的数据通过集群调度写入到HBase中做一个预计算。这样就可以支持指标系统千亿级数据亚秒级的查询，不支持明细查询因为做过预计算。还引入了百度开源的palo，经过优化，通过这样一个架构就满足上层的地动仪、指标平台和权限系统。运营、市场、老板都在用这个指标平台，能够实现多维分析、sql查询接口、超大规模数据集、释放数据的能力以及数据可视化。

我们是需求驱动，每天都会遇到很多需求，数据开发人员就是取出需要的数据。利用adhoc平台将数据从数据仓库中取出，基于这个我们做了一个智能搜索引擎，架构在adhoc上的搜索引擎有很多，比如presto、hive、spark等。用户也不知道该选择那种引擎，他的需求就是尽可能取出自己所需的数据，因此开发智能选择引擎、权限控制，并且能够支撑各种接口、自助查询，这样就基本解决了数据开发的工作。我们自研发了一个queryengine，在底层有presto、sparksql、hive等，queryengine特点就是能够发挥各自引擎的特性，如presto查询快，但是sql支撑能力不强，sparksql同样，在某些特殊sql查询不如hive快，hive就是稳但是慢。queryengine就是智能选择各种引擎，用户把sql提交过来，queryengine判断哪个引擎适合你。如何做的简单介绍下，对sql进行解析成使用的函数、使用的表、需要返回的字段结构，根据各个引擎的能力判断哪个合适。目前还在开发功能就是计费，因为资源是有限的。queryengine支持mysql协议，因为有些用户需要BI能力，需要对返回的数据进行聚合，我们不能开各种各样的BI能力，我们只需满足mysql协议将数据暴露出去，用户只需用其他BI就能使用。

通过架构1.0到架构2.0衍生出很多平台，大架构已经有了，但是遇到的一些问题如何解决。这里分享两个案例，一个是olap引擎的选型与效果，第二个就是为什么要做透明压缩，是如何做的。Rolap引擎基本是基于关系型数据库，基于关系模型实时进行聚合运算，主要通过传统数据库或spqrk sql和presto，spqrk sql和presto是根据数据实时计算；Molap是基于一个预定义模型，预先进行聚合计算，存储汇总结果。先计算好一个立方体，基于立方体做上传下钻，实现由Kylin/Druid，Druid主要是实时接入（Kylin没有），实时将kafka数据用Spark sql做一次计算然后将数据上传上去，可以支持秒级查询；还有一个比较流行的是叫olap，混合多引擎，不同场景路由到不同引擎。

Rolap查询时首先将数据扫描出来，然后进行聚合，通过聚合结果将多个节点数据整合到一个节点上然后返回。优势是支持任何sql查询，因为数据是硬算，使用明细数据，没有数据冗余，一致性非常好，缺点是大数据量或复杂数据量返回慢，因为你是基于明细数据，一条一条数据计算无论如何优化还是会出现瓶颈，并发性很差。

Molap中间会有一个中心立方体cube，在数据仓库通过预计算将数据存储到cube中，通过预聚合存储支持少量计算汇总，为什么少量计算，因为数据都已经预计算好了。优点就是支持超大数据集，快速返回并发高，缺点是不支持明细，需要预先定义维度和指标，适用场景就是能预知查询模式，并发有要求的场景，固化场景可以使用molap。

对于技术选型，当时面临的需求，基本上开源组件有很多，为什么选择kylin，因为支持较高的并发，面对百亿级数据能够支持亚秒级查询，以离线为主，具有一定的灵活性，最好有sql接口，而这些需求刚好kylin能满足。Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析能力，以支持超大规模数据，最初由e Bay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。其解决方案就是预先定义维度和指标，预计算cube，存储到hbase中，查询时解析sql路由到hbase中获取结果。

现在讲一下链家olap架构，HBase集群，数据仓库计算和预处理在这块，还有一个为了满足kylin需求而做的HBase集群。Kylin需要做预计算，因此有个build集群，将数据写入到基于kylin的Hadoop集群中，然后利用nginx做一个负载均衡，还有一个query集群，然后就是面向线上的一个查询，还有一个kylin中间件，解决查询、cube任务执行、数据管理、统计。指标平台大部分是查询kylin，但是kylin不能满足明细查询，这个就通过queryengine智能匹配，通过spark集群或presto集群，还有alluxio做压缩，然后将明细查询结果返回指标平台，最终返回其他业务的产品。在横向还做了一个权限管理、监控预警、元数据管理、调度系统，来实现整体平台支撑。

接下来讲一下链家kylin能力拓展，基本大同小异，遇到的问题主要有：分布式构建，cube增长很快，build集群无法承载，因此做了分布式优化能够满足500cube在规定时间跑完；优化构建时字典下载策略，kylin构建时需要将所有元数据字典全部下载下来，因此从Hadoop将元数据字典下载都得好几分钟，每次build都去下载元数据字典会很耗时，优化后只需要下载一次就可以；优化全局字典锁，build时需要锁住整个build集群，完成后锁才释放，源码发现并不需要全局锁只需要锁住所需要的字段就可以，优化将锁设置到字段级别上；Kylin 的query查询机器使用G1垃圾回收器。我们自研发了一个中间件基本可以容纳一个无限容量的队列，针对特定cube的预先调度，以及权限的管控、实现任务的并发控制。架构有外面的调度系统，有一个kylin中间件，所有的查询和build都经过kylin中间件。还做了一个任务队列、统计、优先级调度、监控报警、cube平分、以及可视化配置和展示。

架构从0到1.0遇到了另一个问题-集群，存储链家所有数据，数据量大、数据增长快（0-1PB两年时间，1PB-16PB不到一年时间，面临成本问题）、冷数据预期，针对这些问题提出透明压缩项目。就是分层存储（Hadoop特性），根据不同数据分不同级别存储，比如把一部分数据存储在ssd，把另一部分数据存储到磁盘之上。Hot策略将数据全部存储到磁盘之上，warm策略就是一部分数据存储在磁盘上，一部分存储archive（比较廉价，转数小）。第二个就是ZFS文件系统，它具有存储池、 自我修复功能、压缩与可变块大小、 写时拷贝/校验和/快照、 ARC（自适应内存缓存）与L2ARC（SSD做二级缓存）。

透明压缩设计实现思路是：（1）界定要做数据冷处理隔离的主要内容。需要将一部分数据存储到ZFS文件系统做一个透明压缩来满足减少成本的需求，这样需要把冷数据界定出来；（2）生成特定的通过获取特定的冷数据列表，并标记其冷数据率；然后，定期从冷数据表中取出为完成冷数据迁移的行，进行移动。通过HDFS目录把界定出来的冷数据移动到ZFS压缩之上，把不需要的移除到Ext4上。这样一部分数据存储在ZFS上，一部分存储在EXT4上。

透明压缩优化工作有：第一个Hadoop冷热数据分离优化。涉及有异构存储策略选择、HDFS冷热数据移动优化；第二个就是ZFS文件系统优化。ZFS支持很多压缩算法，经过测试发现Gz压缩效率最好，下图是各种算法效率对比。随着压缩数据越来越大，CPU占用越来越高。海量数据集群不光是存储还有计算。Datanode对压缩数据的加载时间，直接关系到访问此部分数据时的效率，从表可知,ZFS的gz压缩在datanode加载数据上对LZ4有部分优势。较为接近EXT4。综合考虑压缩率，读取，写入速度，datanode加载速度等，选定gz作为ZFS文件系统的压缩算法。

透明压缩前数据增长是非常快的，接近30%的增长速率，逻辑数据有3PB，3备份后总空间：9.3PB实际总空间：7PB，就目前简单预估节省成本有300万。压缩后虽然实际数据再增长，但真实数据是缓慢下降的。

透明压缩未来展望，透明压缩是对cpu是有损耗的，我们希望将透明压缩计算提取出来，通过QAT卡进行压缩，希望�...

地理信息数据管理现状

大数据为地理信息行业带来了全新机遇，伴随大数据技术的发展，获取地理信息的各种新技术也在不断涌现。传统的地理信息采集是专业任务，强调几何精确性，测绘遥感是主要的采集手段。而大数据地理信息采集手段更为丰富和自由，传感器网络、个体出行过程、网络行为、消费记录等均可能成为大数据地理信息采集手段。这些地理数据具有体量大、来源广、多样化、多时项、多尺度、高维度、高复杂性和非结构化特点。

目前，各行业用户拥有的地理数据普遍存在着数据分散、重复布局、更新维护困难等情况，严重影响到数据资源的共享、开发、利用。用户迫切需要一款数据管理平台，帮助自己实现海量数据资源的统一管理与维护。

‘安徽·天地图’政务版平台数据管理经验

安徽基础测绘信息中心应用捷泰天域睿图数据库管理系统建立了一套“高效、灵活、实用”的数据资源管理平台，完成了安徽省天地图“母库”库体建设，实现了全省基础矢量数据、影像数据、地名地址数据、三维数据、街景数据、瓦片数据等各类数据资源的高效管理和可视化应用，提高了中心数据资源管理水平与成果应用效能。

系统平台建立了灵活、可配置的数据查询体系，实现了数据查询、统计、提取的一体化；建立了融合数据与母库数据同步机制，形成母库与融合数据的良性互补，减少了重复建设；采用众筹思维模式，建立了需求牵引的快速同步更新机制，通过迭代方式快速更新产品库热点区域数据，然后与母库同步更新，从而完善、提高母库数据质量。

专业数据管理平台——睿图数据库管理系统

捷泰天域为了解决当前海量数据管理难题，推出睿图数据库管理系统，是以空间对象为主体的地理信息综合管理系统，以数据模型为核心，采用插件式开发框架，实现对基础地理信息数据、专题数据、影像数据、文档资料等各类数据的统一组织和有效管理。支持数据模型定制，可以根据实际情况跟随业务进行调整；支持开发定制，满足各种类型地理信息数据库的快速搭建和定制扩展。

用户仅需使用极低的成本，即可获得地理信息数据资源的统一存储和高效管理。捷泰天域数据库管理系统帮助用户实现数据资源的统一管理、更新、维护、分发、共享，使数据更好的为业务应用和数据挖掘提供支撑。

产品的核心价值包括以下几个方面：

数据资源一体化管理

为用户提供从数据质检、数据建库、数据更新到数据查询、数据展示、数据分发、数据共享全流程的一体化管理，减少用户进行数据管理、查找、更新、维护工作量。

灵活的数据建模能力

产品采用数据模型组织管理数据资源，用户可根据需要建立相应的数据模型。模型具备可扩展性，满足未来用户数据管理内容扩展的需要。

高效检索，快速、精确定位

用户无需担忧如何从海量的数据中快速获得到想要的那份数据，首先，产品采用ElasticSearch智能高效检索技术，提升海量数据的检索效率；其次，产品提供多种检索方式，包括空间检索、元数据检索、空间与元数据组合检索等，帮助用户快速、精确的找到需要的数据。

要素级更新能力

产品具备要素级更新能力，支持要素级更新数据的历史管理。帮助用户实现要素级的历史回溯。

提供二次开发接口

产品具备定制开发能力，用户可以通过库管产品提供的二次开发接口，结合自己的业务需求进行二次开发扩展。

目前睿图数据库管理系统产品已面向政府、企事业单位和各行业各层面用户提供了专业的数据管理解决方案，并且产品已服务于时空信息云平台大数据管理、天地图母库管理、大数据中心建设等多个应用领域。

当下，互联网技术与可再生能源革命正在开启新一轮工业革命的大幕，人类已经站在新时代的门槛上。

随着物联网（IOT）技术的飞速发展，对传统企业，能否抓住这一历史机遇，依靠技术进步，改善和产业素质与提高生产效率，对企业进行智能化、工业化相结合的改进升级，从传统的厂发展为高技术企业。借助互联网+物联网等技术， 坚持“创新驱动、质量为先、绿色发展、结构优化、人才为本”的基本方针，实现“中国制造2025”伟大目标。

在工业领域中，以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备过程数据。第三类是外部数据。

上述三种数据中，最难获取的是第二类数据，是产业升级中实现过程自动化、机械制造自动化、管理自动化的关键数据来源依据。

工业大数据平台由后台服务器、WEB服务器、手机APP、数据库、后台监控软件、前端展示框架、现场采集控制主机、工业微电脑控制器、物联网模块、无线网关、4G传输设备、传感模块等组成。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧