随着科技的进步与时代的发展，我们的社会正在悄然进入大数据时代。伴随着互联网技术的发展，大数据开始影响着各行各业，影响着企业的生存与发展。很多过去无法捕捉的数据，在互联网技术支持下，可以转化为商业信息进行数据存储和处理。从而为企业的发展带来众多机遇。

打好信息化基础：企业以信息为基础，才能实理大数据挖掘，积累和分析，企业所有的产品数据、运营数据、供应链数据和外部数据都是来自于信息化系统，因此打好信息化基础就变的尤为重要了。完善信息化基础，让数据来源更真实和可靠。并重视知识的创造、提练和共享，用知识管理提升服务水平和增强竞争力。

找到核心数据：一个企业的数据有很多，但是要找到核心的数据，才能找到企业的发展点，核心数据现在对很多企业来说实际上就是CRM。在大批量的数据中，想要分析出企业所有的问题，这是困难的，但是掌握了关键点，就要容易的多，一眼就可以看出问题所在。

大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学地建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

信息每天都在以爆炸式的速度增长，其复杂性也越来越高，当人类的认知能力受到传统可视化形式的限制时，隐藏在大数据背后的价值就难以发挥出来。理解大数据并借助其做出决策，才能发挥它的巨大价值和无限潜力。

不管我们是否已经准备好了，大数据时代已经到来了。大数据时代地于企业有更高的要求，企业每天都在产生大量的数据，这些数据影响着企业的方方面面。企业要加强对于数据的收集和分析能力，让企业的决策更加精确高效，适应时代发展，将企业做大做强。

内容来源：2017 年 7 月 29 日，青云资深产品经理李威在“大数据与人工智能大会”进行《云端大数据平台最佳实践》演讲分享。IT 大咖说（ID：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。

阅读字数：3289 | 9分钟阅读

获取嘉宾完整演讲视频及PPT：http://t/EUJ2Hu9

摘要

很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。本次分享将从青云的云平台架构出发，探讨大数据平台的实践以及思考。

云平台架构

青云提供了完整的基础架构云和技术平台云，图中最下方的IaaS层提供标准的网络存储和计算服务，我们认为主机、虚拟机、容器、物理机等在架构中都是资源，共用同一套调度器。上层PaaS服务中的大数据平台以及数据库和缓存都是基于IaaS的，调用的是IaaS的API接口。再往上就是管理服务，它包含自身的一些部署架构。

完整的企业级大数据平台

一般的大数据平台架构首先面对的就是各种数据源，接着就是数据的传输，这里的传输层推荐使用Kafka。数据传输完成后就来到了大数据存储层，这里最常使用的有MongoDB、HBase、对象存储等。再往上的计算层一般分几类，实时处理主流使用Storm、准实时处理推荐使用Spark，批处理则使用Hadoop、Hive等。另外还需要任务的调度和平台管理层来管理接入的各种开源产品。我们将Redis、Memcached、MySQL归类到最上层，但是这层并不是UI层，而是因为离用户比较近，使用率较高。

以上所有的架构都是建立在IaaS之上的，不管是虚拟机、物理机还是容器。整个架构的核心地方在于从下到上的层次和从左到右的生命周期中的每个模块都可以根据企业的场景替换。

大数据产品选型

实时流处理引擎对比

实时流处理引擎主流的产品有 Storm、Storm Trident、Spark Streaming、SAMZA、Flink 等，在选择它们时可以考虑的维度很多，比如说消息的传递机制保护（Guarantees）有 At-least-once（至少传输一次，它带来的结果是消息的重发）和 Exactly-once（消息一定只处理 一次，无论是在出错的情况还是其他的情况下）的区别；Latency（延迟）方面，如 Storm 是通过 Native 实现的流处理，延迟非常低。而 Spark Streaming 是通过 Micro-batching 实现的，它会把一段时间内的流组成小批量地处理，这样它的延迟就会高一些；吞吐量（Throughput）方面， Storm 的 Native 吞吐量没有那么高，Spark Streaming 的吞吐量就会很高。

存储——HBase .VS. Cassandra

HBase和Cassandra是非常相近的两个产品，都能提供高性能的海量数据读取，也都是列存储，读写性能都非常好。而且应用场景也很相似，都会用来做监控或者日志数据的存储。

但是它们也有很多不同的，首先一致性上HBase是行的强一致，Cassandra是最终一致；稳定方面HBase有多Hmaster，Namenode HA，Cassandra则去中心化，没有单点故障；分区策略方面，HBase 是基于主键有序排列的范围分区，Cassandra 是一致性 Hash 排列，可自定义策略；可用性方面，HBase是牺牲了可用性换取了一致性， Down 掉一台后短暂不可读写,Cassandra 是 Down 掉可继续读写。

Ad-hoc & OLAP查询分析产品对比

交互式查询这方面考虑的维度有很多，这里选取数据量、灵活性、性能这三个维度来衡量。

Hive

可以处理海量处理，查询灵活，但是性能比较低。

Phoenix + HBase

这两个组合也可以查询海量数据，同时性能也比较高，但是查询是基于Rowkey的，非常不灵活，比较适合业务固定的场景。

ElasticSearch

ElasticSearch的查询灵活，性能也很高，不过承载的数据量很难达到p级别，只能支撑TB级别数据。这个主要是和它的架构有关系，因为它是属于全链接的结构，所有可能导致节点的扩展性有问题。

Kylin

可以处理海量数据，性能也很高，但是灵活性较低。由于 Kylin 采用的是预聚合查询，在数据仓库中需要把你要算的 cube 的维度和事实预先计算好，存到 HBase 里面才能达到很高的性能，这导致就它丧失了灵活性。

Druid

海量数据、性能、查询灵活都满足了，但是它是时序数据，数据来源的每条记录里必须有一个 Timestamp。

HashData（GreenPlum）

采用标准的SQL查询，所以查询很灵活。而且性能也很高，支持PB级别数据，能在云上横向扩展节点。但是它的限制在于只能处理结构化的数据。

海量数据OLTP —— 分布式数据库

上图是我们用来处理海量数据的产品，它有一个中间件的集群，下方的每一个节点都是一个分片，每个分片又是一个MySQL的集群。这些分片在云上是可以无限扩展的，所以这种架构可以支持还海量数据。

在架构层面我们还将自动分库分表、数据强一致、分布式事务能力都做到了分布式数据库中。

无限扩展的对象存储服务

对象存储在大数据的处理中非常重要，一般我们使用的都是S3对象存储，它可以无限扩展，并且支持的文件类型是通用的，不管是非结构化的数据、日志、视频、音频、图片都能存储，对文件的存在也没有限制。

青云提供的对象存储就支持S3接口，这样一些主流的大数据产品就可以直接使用QingStor的对象存储。虽然这种形式在性能上有所损失，但是数据的集中存储方便了计算引擎的切换，同一份数据可以使用不同的计算引擎计算。

Ad-hoc & OLAP查询分析产品对比

某大型家电集团——基于海量数据的舆情分析系统

整个架构中首先会将爬取的数据以及关系型数据库的备份数据都存储在对象存储中，然后经由Spark进行数据分析。分析完成的结果中的展示文件可以通过UI展示。

青云——在线业务大数据分析流程图

青云自身的也有很多的业务需要分析，我们会将一些线上数据库的数据进行解析、同步，包括典型的 ETL 处理，数据处理完存在 HDFS 里面，之后由 Spark 进行计算，最后把处理结果存到对于业务来说易于使用的产品，如 PostgreSQL、Elasticsearch，通过 API-server 曝露给前端使用。这是一个比较典型的大数据分析流程，我们用它来验证 QingCloud 大数据平台提供的各种服务。

全球某大型互联网职场社交平台

这是一个在 QingCloud 公有云上运行的大型的互联网社交平台，架构非常典型。最上层用自身的Web Server接入负载均衡，下方有一个数据的服务层，可以处理 MySQL、缓存、Elasticsearch、MongoDB 等数据存储，再往下的数据传输层Kafka，可以将应用级系统日志等信息输入到 Spark 平台上进行分析，如对于系统推荐的好有，用户是否添加了好友等。

Roadmap

大数据平台管理架构

青云不仅提供大数据的相关组件，还提供了管理这些组件的平台。我们的大数据管理平台可以通过UI界面直接执行Hive、SQL、Spark的脚本，还可以直接看到 Storm 和 ZooKeeper 数据的信息，存储可以从浏览器、HDFS、对象存储看到文件的结构，可以提交 HBase 实时的查询，可以看 Kafka 传输队列里现在的数据结构是什么样的。这些是在大数据的组件之上的平台管理层。

大数据平台+Appcenter2.0

大数据技术的变化太过迅速，我们无法提供所有的相关产品，所以需要在大数据平台下提供一个框架层，这样就可以将各种产品转化为服务集成到平台中。

青云的AppCenter就是这样的一个框架，我们的PaaS以及大数据服务全部都是基于这个框架交互。这样就能保证上层有统一的平台管理，下层有插件式的框架集成各种产品。

有问题可以在评论区讨论，以上为所有分享内容，谢谢大家！

编者：IT大咖说，转载请标明版权和出处

专业提供企业市场报告服务

传统企业的OLAP几乎都是基于关系型数据库，在面临“大数据”分析瓶颈，甚至实时数据分析的挑战时，在架构上如何应对？本文试拟出几个大数据OLAP平台的设计要点，意在抛砖引玉。

突破设计原则

建设企业的大数据管理平台（Big Data Management Platform），第一个面临的挑战来自历史数据结构，以及企业现有的数据库设计人员的观念、原则。数据关系、ACID在关系数据库几十年的统治时期是久得人心，不少开发人员都有过为文档、图片设计数据表，或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上，我们需要对多种不同的格式的数据进行混合存储，这就必须意识到曾经的原则已经不再适用——One size dosen’t fit all，新的原则——One size fits a bunch.

以下是我列出的一些NoSQL数据库在设计上的模式：

文档数据库：数据结构是类JSON，可以使用嵌入（Embed）或文档引用（Reference）的方式来为两个不同的文档对象建立关系；

列簇数据库：基于查询进行设计，有宽行（Wild Rows）和窄行（Skinny Rows）的设计决策；

索引数据库：基于搜索进行设计，在设计时需要考虑对对每个字段内容的处理（Analysis）。

搜索和查询的区别在于，对返回内容的排序，搜索引擎侧重于文本分析和关键字权重的处理上，而查询通常只是对数据进行单列或多列排序返回即可。

数据存储的二八原则

不少企业在解决海量数据存储的问题上，要么是把关系数据库全部往Hadoop上一导入，要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入，但最后往往发现前者还是无法解决大数据分析的性能瓶颈，后者也无法回答数据如何发挥业务价值的问题。

在数据的价值和使用上，其实也存在着二八原则：

20%的数据发挥着80%的业务价值；

80%的数据请求只针对20%的数据。

目前来看，不管是数据存储处理、分析还是挖掘，最完整和成熟的生态圈还是基于关系型数据库，比如报表、联机分析等工具；另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。

企业大数据平台建设的二八原则是，将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析；而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上，供有一定数据挖掘技术的数据分析师或数据工程师进行下一步数据处理。经过加工的数据可以以数据集市或数据模型的形式存储在NoSQL数据库中，这也是后面要讲到的“离线”与“在线”数据。

理解企业的数据处理需求

数据库到数据仓库，是事务型数据到分析型数据的转变，分析型数据需要包括的是：分析的主题、数据的维度和层次，以及数据的历史变化等等。而对大数据平台来说，对分析的需求会更细，包括：

查询：快速响应组合条件查询、模糊查询、标签

搜索：包括对非结构化文档的搜索、返回结果的排序

统计：实时反映变化，如电商平台的在线销售订单与发货计算出的库存显示

挖掘：支持挖掘算法、机器学习的训练集

针对不同的数据处理需求，可能需要设计不同的数据存储，还需要考虑如何快速地将数据复制到对应的存储点并进行合适的结构转换，以供分析人员快速响应业务的需求。

北大创业课：跨界多元思维是AI智能时代的核心--企业大数据服务

主讲：吴明辉，秒针系统、明略数据创始人，连续创业者，天使投资人。

时间：4月19日18:40-20:40

地点：北京大学理教302教室

讲座内容：

人类社会已经进入到了智能化时代。各行各业纷纷踏上智能化升级与转型的道路，各类智能化应用大量涌现。世界越来越多维，越来越复杂，个体、企业、行业，如何依托科技创新来创造智能时代的核心竞争力？

1. 智能时代的机会判断：点线面体的战略选择

2. 跨界多元思维是智能时代的核心，机器具有多元思维才能接近人类智慧

3. 增加一个维度看清世界，减少一个维度看懂世界

4. 数据生意的重大机遇发生在三要素变化时

5. 明略、秒针的创业故事

未来AI智能将应用到各行各业，解决实际问题，提高人类的效率，减少枯燥的智慧劳动。

国内大数据服务企业主力阵营：

1、TakingData

TakingData以SmartDP为核心的数据智能应用生态为企业赋能，帮助企业逐步实现以数据为驱动力的数字化转型。

2、友盟+

友盟+基于全域数据、数据技术和商业场景，构建以7亿消费者为核心，覆盖数据化运营、数据营销、新零售数据服务、金融及手机解决方案的数据智能服务体系，驱动业务持续增长。

3、精准科技

精准科技是一家以用户画像为特色的大数据技术公司，致力于推动大数据在营销场景中的使用，业务主要涵盖汽车、金融、房产三大领域。

4、浪潮

浪潮互联网大数据采集中心已经采集超过2PB数据，并已建立5大类数据分类处理算法。近日成功发布海量存储系统的最新代表产品AS130000。

5、腾讯

腾讯拥有用户关系数据和基于此产生的社交数据，腾讯的思路主要是用数据改进产品，注重QZONE、微信、电商等产品的后端数据打通。

6、 探码科技

探码科技自主研发的DYSON只能分析系统，可以完整的实现大数据的采集、分析、处理。一直做的国外项目美国最大的律师平台、医生平台和酒店、机票预订平台的数据采集、分析、处理。将在国内推出一系列面向政务、企业的创新型大数据研究项目与合作，为各大企业提供高端信息技术咨询服务。

7、中兴通讯

中兴通讯推出的“聚焦ICT服务的高效数据中心整体服务解决方案”，可帮助运营商有效解决大数据时代建设IDC面临的大部分问题，提升运营商ICT融合服务能力。

8、神州融

神州融整合了国内权威的第三方征信机构和电商平台等信贷应用场景的征信大数据，通过覆盖信贷全生命周期管理的顶尖风控技术，为微金融机构提供大数据驱动的信贷风控决策服务。

9、中科曙光

中科曙光XData大数据一体机可实现任务自动分解，并在多数据模块上并行执行，全面提高了复杂查询条件下的效率。

10、华胜天成

华胜天成自主研发的大数据产品“i维数据”，颇具创新，近期又与IBM达成战略合作关系，涵盖Linux on Power市场、智慧城市、存储业务、管理服务、咨询与应用管理服务。

11、神州数码

“神州数码”启动了“智慧城市”战略布局，先后推出了市民融合服务平台、自助终端服务平台等产品，并在佛山、武汉等“智慧城市”建设中实践运用。

12、用友

用友在商业分析、大数据处理等领域进行研发，先后推出了用友BQ、用友AE等产品。

13、东软

东软大数据战略以医疗行业为突破口，凭借在社保、医疗行业积累的资源，搭建了东软熙康这一智慧医疗平台。

14、金蝶

金蝶KBI与金蝶ERP无缝集成，实现BI数据采集——集成——分析决策支持的一体化应用。

15、宝德

宝德大数据云备份，是一个专为大数据而设的云备份方案，支持实体机及虚拟机备份，而且具有无限扩充的可能，并且完全自动。

16、启明星辰

大数据时代的IP治理和审计，启明星辰提供了终端审计、终端数据防泄露、日志审计，通过综合审计平台来帮助用户解决IP治理需求等解决方案。

17、拓尔思

拓尔思通过收购天行网安，可以拓展在公安行业的应用，目前正着力开拓行业应用市场，挖掘各个产业链中的大数据价值。

18、荣之联

零售、证券、生物、政府等都是荣之联大数据业务的主要目标行业，已为零售业提供了大数据分析的解决方案，解决了库存问题。

19、中科金财

中科金财作为国内领先的高端IT综合服务商，主要服务于金融业的大数据。

20、美亚柏科

美亚柏科专注于公安市场，其业务包括电子数据取证、电子数据鉴定、网络舆情分析、数字维权、公证云、搜索云以及取证云服务。

21、赛思信安

国内存储技术与服务供应商赛思信安推出了自主研发的大数据管理系统，适用范围包括互联网、公众服务、商业智能、金融、医疗卫生、能源等多个行业。

22、华宇软件

华宇软件作为大数据、食品安全、法务软件等相关热门行业软件，同时也是公安领域大数据的上市公司。

23、天玑科技

天玑科技的数据中心运维管理服务，为大数据的分析能力提供了强大的后台支撑和保障。

24、东方国信

东方国信主营业务为企业商业智能软件及系统解决方案，收购北科亿力和科瑞明，有效拓展了工业和金融大数据领域。

25、华三

华三全融合虚拟化网络技术能够极大简化网络结构，减轻网络管理和维护量，为企业数据中心大规模建设提供最强有力的技术支持。

26、海康威视

海康威视基于英特尔Hadoop发行版，并融合可以灵活按需调配IT资源对应用和服务进行支持的开放架构云计算技术，打造出了视频智能云计算方案。

27、高德

高德与阿里将在地图搜索、产品商业化、数据共享、云计算等领域展开合作，特别是在数据共享方面，高德和阿里巴巴将共建一个大数据服务体系，

28、四维图新

作为提供导航地图、地理信息系统软件建设的内容提供商，现在已尝试使用大数据为政府部门提供决策。

29、海捷科技

专注于商业智能领域(BI)、数据仓库领域、数据库领域的专业咨询、项目实施、软件开发、系统集成等方面，为金融、电信、快速消费品等行业提供相应方案。

30、北京信合运通

信合运通专注于为运营商和行业客户提供基于大数据的深度分析和挖掘技术、渠道支撑服务及行业解决方案。

31、海云数据

海云数据专注于从事数据可视化，可为客户提供数据可视化的创意设计、制作和软硬件集成系统服务。

32、九次方金融数据

九次方金融数据在国内唯一以企业大数据分析的角度对有投资价值和并购价值的企业进行价值判断，持续跟踪企业动态变化的金融大数据公司。

33、永洪科技

永洪BI通过完全自主知识产权的数据集市产品(Z-Data Mart)支持大数据，Z-Data Mart汇聚了数十项自有专利，涵盖了分布式存储和计算、分布式传输和实时通信等关键领域。

34、集奥聚合

集奥聚合作为大数据服务提供商，其DataQuate解决方案主要用于解决运营商大数据的接入、挖掘及应用，为运营商大数据的价值转化提供端到端服务。

35、华院数云

华院数云以数据挖掘为核心、以商业智能和精准营销为主线、以SAAS云平台为主要服务模式，目前专注于电商领域，为客户提供行业领先的数据分析和精准营销平台服务。

36、杭州诚道科技

杭州诚道科技致力于为浙江、全国公安交通管理行业提供一流的信息化服务、产品和方案解决能力，其借助英特尔Hadoop分发版，已解决了大数据的采集和处理问题。

37、勒卡斯

勒卡斯是致力于为客户提供全方位直复营销解决方案和服务的大数据公司，主要有潜客沟通、会员管理、CRM软件定制及客户市场调研四大业务。

38、北京阿尔泰科技

北京阿尔泰科技专业数据采集系统的制造商。

39、智拓通达

智拓通达主要做中国主流社交平台的“大数据”分析，通过整合各大社交平台的用户数据、行为数据和 UGC 内容，为企业和个人用户提供定制化服务。

40、国双科技

国双科技数据中心拥有基于OLAP技术的强大交互式数据挖掘平台，可提供不同深度的分析报告，满足不同视角的数据挖掘和分析需求。

41、时云医疗科技

时云医疗科技今日发布了医疗领域的大数据“未病”预警云服务“康诺云”，有针对个人健康管理而设计的云律血压节律仪、云悦体质分析仪和云动智能健康监测腕表3款智能硬件。

42、百分点

百分点主要为电子商务企业提供站内流量转化和商业智能分析的整体优化解决方案，旗下有推荐引擎技术平台以及跨网站消费偏好平台。产品主要有BRE和BAE。

43、精硕科技

精硕科技是国内少有的第三方数字营销监测和调研机构，专注于为广告主提供全流程的网络广告效果监测、分析评估、媒介优化咨询和技术解决方案等服务。

44、神策数据

神策数据立足大数据及用户行为分析的技术与实践前沿，业务现已覆盖以互联网、金融、零售快消、高科技、制造等为代表的十多个主要行业、并可支持企业多个职能部门。

45、百度

百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。近来百度正式发布大数据引擎，将在政府、医疗、金融、零售、教育等传统领域率先开展对外合作。

46、阿里巴巴

阿里巴巴拥有交易数据和信用数据,更多是在搭建数据的流通、收集和分享的底层架构。

47、华为华为云服务

整合了高性能的计算和存储能力，为大数据的挖掘和分析提供专业稳定的IT基础设施平台，近来华为大数据存储实现了统一管理40PB文件系统。

48、同盾科技

同盾科技将人工智能与业务场景深度结合，为银行、保险、汽车金融、非银行信贷、基金理财、三方支付、航旅、电商、O2O、游戏、社交平台等十余个行业客户提供高效智能的风控、反欺诈及营销分析服务。

49、国双科技

国双科技是中国的企业级大数据和人工智能解决方案提供商。

50、智慧足迹

智慧足迹是由中国联通和西班牙电信合资成立的专业大数据公司，依托中国联通的数据能力，提供位置信息洞察及相关大数据业务。

伴随着大数据能力持续渗透到客户的IT环境，致使这些客户的数据中心涌入了更多的新技术、新工具甚至新平台，它们循序渐渐进、融会贯通的交织在一起，逐渐形成了今天我们常听到的——企业级大数据中心。

很多toB侧自称做大数据的企业，都希望将自身能力以“方案+产品+服务”的形式呈现给客户，他们有些负责定制化应用开发、有些专注于平台建设、还有些只卖硬件产品……这些都不重要，关键在于对客户而言，到底什么样的能力才能完全支撑起自己大数据中心的业务和应用？这就是今天所分享的内容核心——对企业数据架构的理解。

何为数据架构？简单地讲就是：从自顶向下和自底向上两个维度分别考虑大数据中心的能力支撑。

自顶向下：客户的公司目标和战略是什么？伴随着这种战略有哪些业务提升机会；这些业务提升机会解决了哪些关键业务问题？支撑这些业务问题的关键指标是什么、采用什么分析维度和数据模型？最后考虑企业有哪些数据。

自底向上：当前有哪些数据源可以用于构建数据模型并支撑分析？采用哪些分析维度并形成关键业务指标？这些关键指标回答了哪些具体的业务问题并带来业务提升机会，最终达成了公司的什么目标战略。

虽然上述表述啰里啰嗦，但我们的目标是明确的：为了支撑业务，一定要让大数据中心的数据 “活” 起来。

图中所示，我们拟定在客户IT环境中包括三种主流技术平台：EDW平台、Hadoop平台以及数据探索平台，这些能力是根据客户的技术演进和业务规划，循序渐渐形成的而并非一蹴而就。

EDW平台：数据仓库的概念从上个世纪90年代由（Bill Inmon）提出的，它的特征在于面向主题的、集成的、稳定性的等等。由于面向结构化数据分析，因此EDW主要提供数据的整合能力。不仅如此，数据分析和决策还能改善并优化原业务流程，所以EDW还能以数据分析驱动业务运营。

Hadoop平台：太火爆就不做过多介绍了。依托于开源生态组件可以实现大数据同步与加载入库，也可以支撑大数据存储和分布式计算，并且将中间数据或结果数据同步给EDW域或者数据探索域，借助于Hadoop系统可以实现企业线上（互联网日志、用户行为、第三方等）数据处理，也可以引入实时计算等开源组件支持高时效业务场景。

数据探索平台：支持机器学习及数据挖掘：运用内建算法和模型库支持数据探索，完成高级分析的特定场景或提供人工智能引擎（语音/文字/图片/自然语言等）。

伴随则上述三种混搭技术支撑，大数据中心的数据存储、数据处理方法、数据流转流向、数据分析目标、数据开放和共享等内容的一系列运作机理不尽相同，这就是企业数据架构。

客户有太多的应用需要支撑，而每一种技术又有自身的长项和短板、优势和劣势，而且数据架构并非像一颗发射的子弹（有固定的源点和目标的终点），数据或许还在交织变化着、经过一点后又发散目标、多路贯穿。

所以，支撑企业级大数据中心的复杂化业务形态，就必须考虑数据架构问题。当规划好数据如何摆放后，需要什么样的数据、构建哪些模型、支撑哪些业务也就明朗了，人员和团队能力需求也就清晰了。

是的，就差这一步，一个扮演着大数据中心灵魂的关键步骤。

融资难一直是困扰中小微企业发展的顽疾，而大数据技术在金融领域的应用为解决该问题提供了更多可能性。百融金服已经实现了中小微企业的线上“秒级借贷”——申请、评估、审批实时通过，这大大缩短了贷款流程。

“大数据和人工智能的能量爆发时代已经到来。”百融金服CEO张韶峰坚定地告诉记者，“如果不借助科技力量，金融机构在开拓新业务和面临新监管时将无法继续发展。”这一判断的背后，是张韶峰在大数据领域长达15年的耕耘和实践，以及他作为一名大数据公司创业者的耐心、决心和信心。

耐心——从尝鲜到领航

“2003年我进入大数据领域时，这个词还没有诞生。”张韶峰说道，是互联网的崛起，让海量数据的获得成为可能，也让一些先行者看到了数据的价值。

2014年百融金服成立，定位为应用大数据和人工智能技术服务金融行业的科技公司。“那时候大数据还不像现在这样广为人知，愿意谈合作的金融机构一只手就数得过来。”张韶峰说，“所以公司成立之初的一年多时间里，我们连一间办公室都没有，至少A、B两轮融资是在客户的办公室谈成的。”

转变观念需要时间，但机遇稍纵即逝。张韶峰敏锐地认识到大数据不仅是技术，更是一种可以引发行业变革的生产资料，具有广阔的应用前景。“它就像一双眼睛，能够帮助人们发现小样本量下模糊不清甚至根本观察不到的问题”。

张韶峰用这双眼睛发现了传统金融行业存在的征信弊端——覆盖人群有限、审核周期较长、信息采集面窄。正是这些问题导致在普惠金融领域，银行无法控制借贷风险，从而阻塞了供给侧和需求侧之间的资金流动。张韶峰抓住了行业痛点——只有解决好信息不对称，银行才能放心贷款。

凭借对金融领域的深入了解、对大数据和人工智能技术的不断精进，张韶峰获得了越来越多金融机构的接纳和信任。目前，百融金服已经与包括银行、保险公司等多种类型的约4000家金融机构开展合作，研发并提供10余种大数据风控产品，今年3月成立了全国首家专注于金融行业的“人工智能金融实验室”。回顾这一历程可以发现，一个大数据企业的发展不仅需要时间，更需要从业者的耐心与坚持。

决心——颠覆传统风控模式

如果说行业需求为大数据技术的应用提供了落脚点，那么，时代变局则将这个落脚点扩展为一个舞台。近年来，银行面临去杠杆压力的同时，中小微企业及个人融资需求也日渐旺盛，大数据技术的应用恰逢其时。

为彻底改变以往银行借贷对公业务的风控模式，用机器计算替代人工判断，百融金服创新性地采用双重画像体系，把企业的经营行为和企业主的个人行为综合起来考察，为银行提供风险评估方案。

大数据很忠诚，它真实记录着个体的每个足迹。一个企业的中标信息、招聘信息、交易行为、法院公告等多个纬度都可以用来考察这个企业是否“靠谱”。而企业家的手机号使用时长，书籍购买频率，是否喜欢打游戏，经常性活动场所与金融机构地址是否匹配等要素，均被用来评估企业主个人的信用程度。

目前，百融金服通过深度学习模型，会从50万个纬度评价一个金融需求方，相较传统方法，整体效率提升了50%~60%。其中营销环节成功率提升30%以上，个人不良率降低7成。

信心——让金融普惠民众

截至2017年9月，全国小微企业7000多万家，创造了60％以上的国内生产总值，提供了80％以上的新增就业岗位。扶微助小对中国经济发展至关重要，也让百融金服对技术的运用变得更有温度。

“将大数据‘海量、高维、实时’的属性嵌入金融行业将带来革命性变化——更好更快的贷款体验、贷款全程的风险控制，以及全新高效的获客方式”，百融金服普惠金融事业部总经理蒲克强直言科技的运用正在改变金融行业的传统理念，而这更有利于实现对中小微企业、“三农”的精准扶持。

针对农村金融服务薄弱的现状，百融金服以农村景区民俗产业为切入点，通过打造线上普惠农贷产品，帮助农村民宿经营者提升效率，促进农民增收，推动农村经济优化升级。

“金融行业将不再只服务于‘高大上’的企业与个人，而是借助人工智能和大数据的技术力量，全方位评估各阶层金融需求者的风险、喜好和财力，使各类金融需求者都能享受到合适的金融服务。”张韶峰说。

未来两年内，架起金融需求侧与供给侧的桥梁，在金融需求侧服务1亿至3亿中低收入个人和小微企业，在金融供给侧服务1万多家金融机构——这是张韶峰为自己设置的目标：“百融金服的愿景，就是让金融普惠民众。而这一愿景也是金融供给侧与需求侧的一致目标，我们有坚定的信心做好普惠金融。”（光明日报记者 孙小婷 光明日报见习记者 李丹阳）

《光明日报》（ 2018年05月26日 05版）

互联网时代，最明显的一个特征就是绝大多数信息都是以数据的形式进行记录，可以说数据就是信息的载体，也是知识的来源。数据体量呈现出爆发式增长，人们在笑谈大数据时代“你的信息只值五毛钱”的时候，不得不重新认真思考它的价值。

大数据有没有价值，在于是否应用得当

随着国家将大数据战略提升到国家战略高度，将大数据视为经济发展和转型的重要科技依据，越来越多的企业组织已将数据视为重要资产，着手开展数字化转型的系列举措，以期全面提升客户体验，推动经济增长。

无疑，大数据时代，数据资产已成为一个企业的核心竞争力。但数据在手，不会运用它，就会毫无价值。在当下企业数字化浪潮中，数据是企业转型的基础元素，如何将企业不同业务、类型的数据应用起来，推动企业运营，增加收入、降低成本、提高效率，控制风险等，是企业现在面临的难点。

用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》，助力企业走出数据分析的盲区，实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集，再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合，根据不同的需求，提供差异化服务。

应用越广泛，受到的安全挑战越大

大数据技术，悄然渗透到各个行业领域，逐渐成为一种生产要素并发挥着重要作用。然而，大数据技术使得产率提高和改变生活方式的同时，随之而来的安全挑战也日益显现。

例如，政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时，数据和平台安全尤为重要。

值得一提的是，3月25日，华为云数据库安全服务正式上线，以期打造高效云上数据防护体系。华为云数据库安全服务，通过三步走的数据库安全防护设计，保障数据系统安全。第一步：定位敏感数据在数据库中所处的位置，通过构建安全策略来提早防护。第二步：通过定义基于多维度的策略，阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步：一旦发现入侵行为，采取必要措施进行封堵，以回溯和确认攻击源头，还原恶意行为的蛛丝马迹，从而进行管理措施。

大数据与人工智能携手发展

大数据与人工智能相互依托，有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树，到近期的人工智能神经网络，数据越多越有助于人工智能的发展。同时，大数据也需要更新的模式来处理它，通过这个过程发现更多隐含规律。

在当下，在未来，或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐，泰山移。独脚难行，孤掌难鸣。在互联网时代，一味地竞争已经没有未来。只有携手共求发展，或许才能创造出一个大国品牌。

（文/红薯）