10月14日，中国信息通信研究院基于DSMM（Data Security Maturity Model，数据安全成熟度模型）的测评，发布了一份《中国企业数据安全最佳实践报告》。

该报告围绕数据采集、存储、传输、处理、交换、销毁的六个数据生命周期，在数据安全组织建设、制度流程、技术工具、人员能力四大维度，至少30多个安全域进行全方位考核评估。

该报告认为，依据DSMM对一些目标企业机构的评估发现，目前国内组织机构的数据安全水位线普遍偏低。企业信息安全成为中国公司的最大隐患。

在这样的市场环境下，阿里钉钉抓住企业安全这一硬性需求，在企业信息安全及加密领域已达到国际领先水平。钉钉在国际信息安全领域获得BSI（英国标准协会）颁发的ISO27001：2013认证，是中国首个通过该认证的企业级社交产品。

作为数据安全的标杆，钉钉安全负责人罗锋介绍，钉钉面市于2015年，作为企业级应用，钉钉一直把数据安全当作生命线。钉钉以淘宝、天猫、支付宝等积累的多年安全经验为前提，建立了强大的移动办公生态保障体系，为数百万家中小企业提供“简单、高效、安全”的服务。

钉钉在国际信息安全领域获得BSI的ISO27001：2013认证

与此同时，钉钉还通过了中国公安部的“信息系统安全等级保护”三级认证，并成为2016年杭州G20峰会安全保障的唯一沟通协同平台，为这个举世瞩目的盛会保驾护航。

罗锋介绍，钉钉除了自身固有的分布式数据存储加密系统，还引入了一种独特的安全服务模式——第三方加密。“密钥由第三方托管，相当于给企业数据又加了一把锁，双重保险箱保障只有用户才能打开数据。”在这种安全机制下，任何第三方包括钉钉官方都无法解读。也就是说，除你之外任何人都无法解密，使用该服务的企业和组织拥有唯一密匙。

说的形象一点，把信息传输比喻成送快递。信息加密和三方加密，就相当于你把快递包裹用两个密码箱锁好，密码只有你知道，再给快递员，快递员想要打开包裹看到里面的东西，是“不可能完成的任务”。

除了消息加密，消息传输也进行加密。据了解，钉钉数据通信全经由ECDH和SSL/TLS 加密，采用密码界世界领先的椭圆曲线算法，达到银行级别加密水平。这个方法是钉钉在业界最早一批使用，钉钉的聊天消息是无法在企业的网关被破解。

还是用送快递那个比喻。信息传输加密，相当于快递员送快递的整个过程，是在一个密闭安全的通道内进行，外部的危险不会影响到通道内的快递员。

据了解，包括复星集团、中国联通、统一集团、链家房产、滴滴出行、远大科技、西贝餐饮、分众传媒等在内的各行业众多知名企业，已经开始使用钉钉。

政府部门尤其是公安系统，工作场景更为复杂，涉密性和安全性需求更高。据相关报道，目前包括深圳交警、武汉市公安局、内蒙古交警等各地公安系统单位很多都在使用钉钉。多地警方表示，安全，是选择钉钉的首要原因。公安部不但给予了钉钉信息安全认证，他们本身也用起了钉钉。公安部依托钉钉建立的“团圆系统”，专用于打拐反拐，全国6000多打拐干警接入，自2016年上线，截至今年9月1日，共发布1918条寻人信息，帮助全国各地家长找回1847名儿童，找回率为96.30%，其中解救被拐卖儿童41名。该系统被誉为中国版的“安珀警报”。据悉，“团圆系统”不但获得了全国公安机关改革创新大赛金奖，还作为科技助力社会治理的重要成果，亮相北京的“砥砺奋进的五年”大型成就展。

罗锋强调，钉钉是企业自己的钉钉，数据既不属于阿里巴巴，也不属于钉钉。钉钉将一贯坚持，“数据是属于用户自己的”。

最近钉钉刚刚宣布其用户数突破一个亿，发力于企业服务市场，产品差异化发展，以安全、保护用户隐私为第一原则，钉钉发展迅猛。依托于阿里巴巴的数据安全能力，钉钉在企业信息安全及加密领域不仅在国内，到国际上也是领先水平。

来源：阿里巴巴

未来的城市中，从消防栓到红绿灯，感知与处理，智能与连接，每个角落全部数字化。张建锋说，中国有机会用数字化重新定义一个标准，定义一个未来。

10月26日，2018中国计算机大会上，阿里巴巴集团首席技术官、达摩院院长张建锋表示，数字化是智能化的基础，从城市治理到新制造，数据不仅能用于改善现有业务，更重要的是开辟新模式与新赛道。

阿里巴巴集团首席技术官、达摩院院长张建锋

中国计算机大会由中国计算机学会主办，是中国计算机领域级别最高、规模最大的学术盛会。

会议上，谈及数据的价值，张建锋表示，阿里巴巴数字经济体目前沉淀了海量的应用数据。为更好地挖掘、利用海量数据的价值，阿里构建了世界级的基础设施，也围绕人工智能芯片与图计算等前沿技术领域，展开了一系列自主创新。

数据在新零售、跨境电商等领域的巨大价值也逐渐显现。

张建锋透露，通过对线下门店的数据采集，盒马已尝试通过3D重建技术，在线上重建整个线下商场，目前正在测试中，为用户提供特殊的购物体验；而基于大数据与人工智能，阿里已经实现了48种语言方向的机器翻译，服务100万国内外中小企业。

城市大脑与工业大脑，也正通过对城市与工业生产流程、设备的数字化改造，创新管理模式，使传统制造业加入新制造的行业。

在大会上，阿里巴巴还宣布继续加强学术合作，达摩院智能计算实验室计划联合清华大学，

围绕认知计算方向成立专业委员会。推动新一代认知图谱技术在中国的发展，促进人工智能等相关技术的成熟应用。

据悉，阿里巴巴也正研发新一代超大规模认知图谱推理引擎，并将这一技术应用于电商、出行、娱乐、支付等业务场景。通过挖掘理解每个人的兴趣与需求，实现深度的个性化推荐与服务。目前这一引擎已经成为全球最大的电商超大规模认知图谱。

众所周知的阿里是一家购物公司，但却不知阿里除淘宝天猫外，其他旗下公司到底是做什么的？仅仅是为了赚钱，或者扩大市场？那么接下来我们看看马爸爸的战略布局：

阿里集团主要下属公司

v 阿里健康

v 滴滴快滴，高德地图

v 微博，陌陌

v 优酷土豆，阿里影业，光线

v 恒生电子

v 菜鸟网络

v 蚂蚁金服，支付宝

v 口碑，饿了么

v 淘宝，天猫

阿里的战略布局

阿里的公司布局范围为何如此之广？难道仅仅是为了不断的扩大资本或者开拓市场？其背后原因不止如此简单。马云的前瞻性早已在大数据时代布好了一局棋，那就是数据采集与数据分析和管理。为何这么说呢？那么接下来对其所属主要公司进行详细的分析。

阿里公司的数据采集

n 阿里健康，是对市场药品实时数据的采集

n 滴滴快滴和高德地图，是对大众出行数据的采集

n 微博和陌陌，是对人们社交关系数据的采集

n 优酷土豆与阿里影业以及光线，是对线上娱乐数据的采集

n 恒生电子，是对证券交易数据的采集

n 菜鸟网络，是对物流数据的采集

n 蚂蚁金服和支付宝，是对支付数据的采集

n 口碑和饿了么，是对餐饮服务数据的采集

n 淘宝天猫，则是对交易数据的采集

阿里数据的作用

阿里如此之大的数据量，自然引得更多商人在阿里入户。当阿里在淘宝与天猫中采集的数据被分享至各个商户手中时，大量的数据可以让商家更好的进行市场分析与自我产品定位，进而使市场资源配置更加完善，也使商家利润快速增长。这似乎是个很好的事情，但任何事物都有其两面性。假使这些大量的购物数据被无良商家所利用，会发生什么呢？这些购物数据中包含用户是否常购买品牌产品，或者是否常购买低价货，那无良商家拿到这些数据后会做些什么？如果你常购买品牌产品，那商家就会给你发真货，因为数据告诉他，你懂是不是真货。但你常购买低价货呢？不好意思，只发高仿品。同样，数据告诉他，你的消费水平不高，“见少识窄”只给你高仿，不能再真了。另外，若你平时购物的退货率低，那好给你瑕疵产品，因为数据告诉他，你会将就。最后，若你所购买商品，在你居住地并无专卖店，直接给你假货，因为地址数据告诉他，你没办法验证真假。

看到这里，你是否为之一颤呢？

阿里妹导读：近期，2017中国应用性能管理大会（简称APMCon 2017）圆满落幕。 阿里巴巴数据库事业部高级技术专家乔红麟发表了题为《数据库智能优化系统的探索与实践》的演讲，现场解读了过去几年阿里巴巴数据库团队在面对数据库规模急速增长以及业务变化越来越快的情况下在智能数据库诊断优化方面的一些探索和实践经验。

以下为演讲实录：

乔红麟：谢谢主持人，大家下午好。今天给大家分享一下我们团队在数据库优化方面做的一些事情。阿里的数据库场景与其他公司可能会有一些不同，所以今天的分享更多是基于阿里的场景和规模所做的一些思考和实践。

先简单介绍一下我自己。我在2015年加入阿里，目前负责阿里数据库智能优化产品CloudDBA的开发。我今天的分享主要有这几方面：

首先讲一下在阿里对数据库优化服务的诉求。我相信大家在数据库性能优化方面都有很多的经验教训，不同公司对优化的具体做法也不太一样。在方式上大部分企业应该还是重人工模式，就是由数据库能力比较强的人，比如DBA，来解决数据库性能问题。但阿里今天的数据库规模非常大，不管我们有多少，我们的人员增长速度都无法跟上业务发展的速度，单纯依赖已经无法满足业务发展需求。

第二方面讲一下我们的是如何做的，里面涉及到哪些技术，希望把这些技术分享给大家。如果大家所在的公司也在做类似的事情，希望能够提供一些参考和帮助。

第三方面大概讲一下目前正在探索的一些事情。现在人工智能技术比较火，数据库相对来说是比较传统的领域。如果我们将机器学习、深度学习这样的技术引入到数据库领域，它到底能做些什么，具体到数据库优化领域又能做什么，这是我们正在探索的一些事情。

一、阿里数据库优化服务诉求

第一部分、业务诉求

首先从整个阿里数据库的角度看一下对于数据库优化服务的业务诉求，这也是我们做这个产品最大的驱动力。

1 、服务产品化。阿里业务发展速度远远超过了团队发展的速度，单独依靠重人工支持模式变得越来越困难，因此我们在几年前开始尝试通过产品来完成人工做的一些工作。通过产品解决人工服务的扩展性问题，是我们最直接的诉求，希望能把人工服务产品化。

2 、全局规模优化。站在全局角度来看，数据库规模迅速增大的同时也带来了巨大的成本压力。成本这块怎么理解呢？只要业务有需求，理论上可以通过增加更多的机器来满足业务需求。但是从另外一个角度来讲，这些机器是不是一定要加，是不是有一些机器可以通过优化节省下来给新的业务服务。当规模非常大的时候，所做的一小点规模化优化，所节省的成本可能都是很可观的。因此我们需要有全局规模优化的能力，仅仅一个数据库实例内部做的优化都是一些局部优化，以全局角度来看是不够的。

3 、主动诊断。从运维的角度来看，阿里同其它公司一样，就是要尽量避免故障的发生。在阿里的业务场景下，大部分业务跟数据库有着非常紧密的关系。数据库一个微小的抖动，都可能对业务造成非常大的影响，所以如何让数据库更稳定是非常重要的业务诉求。比如一个最常见的情况，有很多线上SQL性能是有问题的，这些会给业务稳定性带来一定的风险。那么我们能不能通过产品主动对线上有问题的进行主动诊断，提前做优化，而不是引起故障后才去优化。

4 、智能异常发现。线上业务负载不断地变化，业务行为、用户行为也在不断地变化。传统基于阈值设置报警的方式无法可靠、及时地发现数据库故障或者异常。如何可靠地去发现数据库异常，甚至是提前预测到故障的发生并进行及时干预，是有很强的业务需求的，但同时也有非常大的技术挑战，尤其是在阿里这么大数据库规模场景下。

5. 容量预估。还有一些业务诉求是容量预估的需求。比如什么时候需要扩容，如何更精准地对数据库容量做出预估，这些方面后面我会稍微展开一下。

第二部分、用户诉求

另外一部分诉求是使用数据库这些人的诉求，也就是我们的开发人员。每个公司数据库服务方式有所不同。这里我列了一些开发人员经常会问到的一些问题，这些问题背后的诉求让我们思考我们的产品站在开发者的角度，要解决什么问题。在业务发生异常的时候，需要快速定位到整个链路到底哪块出了问题。之前DB对于开发者来说是一个黑盒，不管是信息透明方面，还是大家对数据库领域的知识方面，对于的了解程度可能都不够，不知道是什么状态，发生了什么问题。 具体来讲 用户诉求主要有：

1 、信息透明，自助优化。我们期望用户能够自助发现和解决数据库的性能问题，并非发现问题先去找，这样整个流程会比较长，时间成本也比较高。但做到自助化，首先用户能够全面了解数据库的运行情况。

2 、持续优化。只要业务在线上运行就会不断的变化，业务负载不断变化、用户行为也会不断变化。所以数据库优化是个持续的过程，并不是今天发现一个问题解决了，以后就不出现问题了。尤其是互联网的应用，持续优化尤其重要。

3 、量化跟踪，流程闭环。开发人员经常会问到一个问题，上次帮他做的优化，结果到底怎么样。我们知道并不是每个优化都是实际有效的，因为很多优化方案是基于当时的信息和场景做的一个判断，实际优化结果只有当应用之后才能真正去做评估、做衡量，所以我们要提供量化跟踪和评估的能力。另外，我们期望整个优化流程，从发现问题到最终解决问题在产品内能够闭环，开发人员能够自己完全自助化走完整个流程，而不需要的参与。流程闭环也是产品必须具备的能力。

4 、输出产品，而不是人。不断有新的业务上线，而我们的就这么多人，并且每个人有不同的侧重。对于一些快速发展的业务，在早期我们可能没有去做特别支持的，但这些业务的数据库反而是容易出问题的。开发人员如果能够通过产品解决问题，而不是凡事都去找，解决问题的效率会更高。将我们的能力通过产品进行输出，更好去支持我们的业务。

所以今天我们做产品,是希望我们能够通过产品的方式把专家服务提供给业务开发同学，实现人力的扩展。同时我们需要具备全局规模优化能力，这是在阿里对数据库优化服务的业务诉求和用户诉求，也是我们做这个产品的动机。

二、 CloudDBA 关键技术

首先简单介绍下在阿里的发展历程。早期我们团队有很多非常牛的，经常是一个人当千军万马的感觉，那个阶段优化更多依赖于人工完成。之后我们开发了一些工具，让工具来完成简单的优化操作。几年前我们的理念转变为所有数据库服务都应该由产品来做，所以我们在数据库运维，管理，优化等方面都有相应的产品，开始进入自动化阶段。

未来数据库优化服务会从自动化发展到智能化，这是我的判断。今天仍然有很多问题是解决不了的，比如精确的容量预估，智能的异常发现，故障提前预警等。现在我们有非常多的数据，也有数据加工分析的技术，所以我们开始进行一些探索，通过数据分析和机器学习等技术手段来解决之前解决不了的问题。比如最简单的容量预估，每年都会做预算，做容量预估。至少我现在还没有看到特别多的公司去用很科学的方式，完全基于业务目标以及历史数据的分析来做容量预估。很多时候容量预估是靠拍脑袋决定的，但是今天有了大量的数据和加工数据的技术手段，我们是不是可以做更精准的容量预估。举这个例子来说明一下，未来很多的优化应该向智能化方向去思考，去探索。

在阿里大概是这样的一个发展历程，我们今天还处于自动化阶段，但同时也有一些智能化的实践。未来我的判断是我们一定向智能化去走，后面会在这方面尝试更多的探索。

说了这么多，那么到底是什么？PPT上面有一句话，“CloudDBA是一个数据库智能优化产品，面向开发人员提供自助化诊断优化服务，致力于成为用户身边的数据库专家。”不是给开发的工具，从一开始我们的用户定义就很明确。我们是面向使用数据库的开发人员提供这种自助化的诊断优化服务，我们的用户不是，而是真正使用数据库的开发同学。面向和面向开发同学对产品来讲是完全不同的概念。比如开发同学没有太多数据库背景知识，我们即使做简单的信息透明，也需要做一些翻译，能够让开发同学理解。用户定义不同，数据的加工、分析以及最终的呈现，都是完全不一样的。

接下来讲一下 CloudDBA 到底能做什么。这是我们简化版的整体架构，涉及的面比较广。从下到上 分为四层：

1 、最下面是我们的采集层。对所有数据库进行实时的秒级数据采集，包括性能指标，日志数据、流水，内部的一些信息等等

2 、采集完之后数据到达计算层，计算层分两大块。一部分是实时计算，对于流水，监控指标等，都会做实时计算和展示。另一部分是离线分析，比如性能基线，读写热点，统计报表等。

3 、再往上就是数据库诊断服务层。如果大家做过系统的数据库优化，就清楚数据库优化会涉及到很多方面。最常见的就是优化，是不是很慢、有没有走到最优路径、写法是否合理等等。相关问题是我们开发经常会遇到的。还有其他一些问题，比如说空间，会话，锁，安全，配置等，能够对的每一个方面提供相应的专家诊断服务。

4 、最上面是接入层，在阿里内部通过企业数据库服务平台iDB作为入口向开发同学提供数据库优化服务。

接下来跟大家分享一下我们做这个产品的一些产品设计原则。如果大家也在做类似的产品，希望能够给大家一些参考。

之前我们数据库优化主要是来做，但人工优化不具备扩展性，第一个设计原则就是要提供自助化服务，希望整个优化过程只有开发参与，并且整个优化流程能在里实现闭环。

由于业务负载会不断地变化，需要对所有线上数据库进行持续的主动诊断，及时发现和解决数据库性能问题。

另外这个产品需要有全局的视角，能够从全局角度发现规模优化点，具备规模优化能力，并且能够量化规模优化的收益。

还有最后两点非常重要，首先就是数据驱动。从我个人理解，今天要做这样一个优化产品，首先要有足够的数据，然后用数据分析和挖掘的技术手段，再结合数据库领域知识，给出更合理的诊断优化建议。智能化是我们对于数据库优化产品未来发展方向的判断，也是我们一直在坚持探索的。

时间关系今天无法全部展开，接下来重点展开几个方面。一个是的优化怎么做的，还有一个是空间优化，另外就是全量采集和分析。最后会分享一下我们在智能化方向的探索。

SQL 诊断

先说一下优化，不知道大家平时做优化时是怎样的流程。大家回想一下，你是怎么发现哪些需要优化的？要知道优化什么，为什么要优化它，然后再考虑怎么去优化。还有一个问题是优化完之后效果到底怎么样，是不是真的有效。整个优化过程不管是开发还是做，都需要形成一个闭环。

产品实现了这么一个闭环。第一步决定哪些需要优化，第二步是如何优化，第三步是优化后效果如何，要做量化跟踪，确认是不是有效。如果发现没有效果，再次重复这个优化流程，直到问题被解决。

这是里优化的大概流程。我们实现了一个类似MySQL优化器的What-if optimizer。举个例子说明一下是什么。比如一条查询有10个可选的访问路径，优化器目标是要从这个路径选择访问代价最低的一个路径。而What-ifoptimizer要做的事情是如何规划出第11条路，让这条路比现有的条路都快。难点在于这条路是不存在的，这个路怎么修，修完之后是不是真的更快，这些是要解决的问题。

比如一个常见的优化手段是索引，那建什么样的索引会比当前所有执行路径都好？这是我们的优化引擎要解决的问题，也是我们产品比较核心的部分。大家可以看一下这个流程，前面几步跟或者其他优化器类似，但后面的候选索引生成，代价评估，优化建议合并等都不一样。我们的输入是一条或者一个SQL workload，输出是对应的优化建议，比如新建索引，改写等。

优化最关键的是要有全面准确的统计信息作为输入，另外就是它不能是规则式的，因为 SQL 的执行路径与数据分布有很大的关系。同样一条 SQL ，数据分布不一样，实际执行路径可能会完全不一样。 SQL 优化这块有几个关键点 需要强调一下：

1、 全局视角。如果业务非常多，假设有100类SQL(模板化后)，挑选哪些来优化是非常关键的。是对这类都做优化，还是选出其中一些重要的？通常会选择性能有问题的优化，但怎么选呢？有全量性能统计数据，会分析出查询效率低且有优化空间的SQL Workload来进行优化。

2、 代价评估(Cost-based Optimizer)。比如一条可能会有多个索引建议，哪个建议是最优的？候选索引生成阶段确定某列是不是可以放到候选索引里，也需要结合统计信息来评估。这些过程都需要基于代价进行评估，而不是规则。

3、 动态采样。优化器在做路径选择时很重要的一个输入是统计信息，对于我们的也...

2016年，阿里巴巴集团提出中台概念，阿里巴巴数据技术及产品部作为中台战略中的组成部分，承载了集团数据中台的工作，其核心就是建设全域大数据。究竟全域数据到底是什么？又该如何建设？

在云栖大会阿里大数据分论坛， 阿里巴巴高级技术专家张磊给出了详细的回答。以下为分享全文实录：

阿里巴巴高级技术专家张磊

数据中台

阿里巴巴数据技术及产品部定位

2016年阿里巴巴集团提出中台概念，阿里巴巴数据技术及产品部承载了集团数据中台的工作，其核心就是建设全域大数据。

从内容上看，我们管理和运维着阿里巴巴集团最核心的基础数据；

从技术上看，我们覆盖了从数据采集、计算加工到数据服务、数据应用等数据链路上的每一个环节，为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。

举个例子，被大家熟知的双11当天可见炫酷数据大屏就是由我们部门负责的。

阿里数据中台全景图

上图是阿里数据中台的全景图，从这个图中我们可以看见实际上阿里数据中台在架构的组成上，呈现了一个“四横三纵”的结构，底层的基础设施来自于阿里云平台。

先来讲四横。 整张架构图从下往上看，最下面这块内容主要从数据采集和接入为角度，按照业态接入数据（比如淘宝、天猫、盒马等），我们把这些数据抽取到计算平台；接着通过OneData体系，以“业务板块+分析维度”为架构去构建“公共数据中心”；再基于公共数据中心在上层根据业务需求去建设：消费者数据体系、企业数据体系、内容数据体系等；经过深度加工后，数据就可以发挥其价值被产品、业务所用；最后通过统一的数据服务中间件“OneService”提供统一数据服务。

在阿里内部，阿里数据平台上的数据产品已有几十种，每天有上万内部员工在使用数据产品；我们的官方统一数据产品平台“生意参谋”累计服务了超2000万商家……

接下来是三纵。 基于阿里巴巴如此大体量的数据体系建设背后，我们必须要通过大量工具去保证快速、高效、高质量数据接入，这部分我们通过智能数据研发平台来实现，将我们的理论及实践过程，通过一整套的工具体系及研发流程去保障落地，确保每一个团队，每一个BU，通过统一规则去建设数据体系；同时，当数据多了以后最直接问题就是成本，因此我们还建立了统一的数据质量管理平台。

全域数据到底是什么？

阿里巴巴目前生态建设包括了核心的电商业务，淘宝、天猫、聚划算等，同时还有文娱板块的优酷、土豆、UC浏览器等，当然还有本地化服务比如口碑、饿了么等。基于业态背后还有蚂蚁、菜鸟、阿里妈妈、阿里云等等。

这一系列的生态数据我们都会集中进行存储和管理，并构成了我们的全域数据所覆盖的范围。

一方面，上述每一种业态都是全域数据的来源；另外一方面基于这些优质的数据，进行解析和处理，再反哺给到业务。我们要实现的是：利用全域数据去驱动业务，让数据发挥更大价值。

以手淘为例，手机屏幕是非常小的，我们如何在有限的空间内展示给到用户看到他们真正希望看见的内容？“千人千面”这一应用的背后，实际上就是基于大数据的算法应用场景，来实现的。还有芝麻信用、菜鸟的智能物流、阿里妈妈的精准营销等等，它们都是通过大数据驱动之下，构成了业务与数据联通的闭环。

阿里全域数据建设的初衷

我们为什么要做全域数据？

首先，降低成本。 大家都知道大数据建设的资金投入其实是非常巨大的。比如基础建设的投入、机房、机架、服务器、网络带宽，包括软件平台建设，开发运维团队的组建等等，都会耗费企业大量的资金和人力。以优土（优酷土豆的简称）为例，优土去年加入阿里巴巴集团之后，我们开始启动数据融合项目：在此之前，优土有自己的Hadoop集群，阿里巴巴的数据规模则大的多，将优土数据融合到阿里大平台上，可以让优土获得更多弹性资源，也可以在基础设施运维、人力运维、平台运维上复用集团的技术体系；基于OneData大数据建设体系、统一的数据采集规范等，减少人力及运维成本。 当项目完结后，我们发现目前优土在数据建设上的成本不到原来50%。

其次，技术赋能。 客观来说，在阿里生态内公司的数据能力参差不齐，因此为了赋能其他生态公司，我们通过短时间的数据体系迁移，让他们拥有和阿里集团同样的大数据能力。上述的优土融合项目就是通过半年时间，实现了技术赋能。

第三，数据连接。 我们知道数据孤岛的现象不光存在于传统行业，互联网行业也是一样。所以只有把数据连接起来，它才能发挥更大的价值，消除数据孤岛，让数据连接起来，也是我们进行全域数据建设的目的之一。

最后，赋能业务。 无论我们的集群规模有多大，服务体量有多大，最终还是要回归业务、通过业务的数据表现来体现我们的价值——把数据体系统一后，除了让业务可以更加准确、快速的获取决策分析数据外，还能提供业务快速试错的机会，最终为业务创新降低了门槛。

如何建设全域数据？

在整个全域数据接入过程中，尽管基础设施建设已经非常强大，但在实际过程中，我们仍然面对了诸多困难和挑战。仍以优土为例，它的大数据机房在青岛，阿里集团大部分数据集群都在内蒙古和张北，而涉及到数据迁移也绝不是“拉一根网线”这么简单——其中涉及到应用体系、大数据架构都需要定制方案去做；

另外，统一数据采集在接入的过程中也会就原有业务进行统一梳理，包括后面的数据验证，做过数据的人应该都知道其中的痛点；同时在迁移过程中，原有的数据对业务的服务还不能停，这事情我们叫——飞机上换轮子，一边要进行核心零部件更新，一边还要保持高速飞行；

最后就是项目周期，基于现实情况，大数据建设一般需要较长的周期，无法在几周内完工，因为大数据建设不是一蹴而就，而是一根体系化过程。

从基础设施来看，阿里经过电商发展，包括多年双11这种特殊场景下的考验，在基础设施上，从数据中心到网络到服务器，到数据库中间件、计算平台、数据平台、算法平台都有了非常多的沉淀。

因此，在建设全域数据的时候，我们要做的第一步就是将生态公司的数据在基础设施阶段就进行融合。

我们的数据组件划分如下：

最底层——数据采集，这是数据的来源；中间——计算存储平台：实时计算采用自主研发的Blink，离线则采用MaxCompute。

上图则更详细介绍了我们的数据组件：

基于用户的网上行为去做数据采集（我们有PC和无线的采集体系）然后放到实时、离线计算平台上来，这两个计算平台除本身计算能力外，还有许多基于SQL、Graph等可编程的能力，最上面就是研发工具、产品服务、BI工具。

有如此强有力的基础支撑外，长在上面的应用能力也非常给力：以研发工具为例，阿里有约两万名研发工程师，而每天基于阿里数据平台开展工作的同学就有近一万人！

基于这些丰富的大数据组件，大部分的研发同学、专业的或非专业的同学都能在上面基于大数据做一些探索和尝试。

下面介绍我们在全域数据建设中的几个体系。

首先看流量体系， 这是互联网行业和传统行业最大的区别。

打个比方，如果我们把淘宝可以看做流量分发中心，用户进来后把流量给到商品、给到卖家。那么在进行流量数据采集时，大家可能会给出不同的方案。

我们基于阿里巴巴多年的电商经验，也沉淀出来了一套统一的流量采集规范——超级位置模型：

以淘宝的页面为例：

站点就是淘宝，下面会有页面、区块、位置，这些都是可以根据业务实际需求去埋点，并直观获取页面任何位置的数据，比如页面概况分析、路径分析、跳转分析、页面点击、用户分析等等。业务方只需要按照规范埋点，我们就能够迅速给到基础的流量分析能力，而基于此，配套对应的数据产品就可以解决80%的流量方面的数据问题。

其次，计算组件化。

众所周知，基于互联网的基础内容其实是能够固化下来特定需求，中间过程可以通过工程化能力去解决，然后迅速把这些东西配置出来，而不需要每一个需求都去做代码开发计算——这就是计算组件化。

这样做的好处首先就是；配置简单、复用性高，同时，在注意统一规范后，未来接入uc、接入高德等业务，我们可以做到一键接入。

全域数据建设最核心的体系是——OneData体系。

目前，从整个大数据建设过程来看，它分为数据接入、规范定义、计算加工、数据验证、数据稳定性，这几个部分合并构成了整体的数据研发流程。

OneData体系工具是全域建设的保障——我们知道现在存储和计算可能已不是瓶颈。随着分布式技术的发展，以Hadoop为典型代表，廉价的pc服务器即可搭建出超强的计算能力，因此存储和计算未来会变的越来越便宜，但相对昂贵的是工程师的时间成本。

所以，工具化是解决研发效率的关键一环。我们把大量机械、人肉、不产生价值的工作，通过工具去完成，比如从数据的接入开始，我们有OneClick保证高效接入，根据阿里巴巴完善的元数据，我们有能力把基于业务db的数据一键拉到计算平台，这个过程几乎不需要人的参与。

同时，通过OneDefine工具来确保数据建设过程是规范的，比如：模型分层、表命名规范、字段命名规范等。

再看计算过程， 阿里数据应用的群体在能力上是参差不齐的，有专业的数据研发、有算法工程师、有分析师、可能还有业务运营，很多人可能简单自学SQL后，就可以自己跑数据：通常情况下，SQL质量无法保证，如果查询的数据量非常大，可能后台几千台机器就转起来了，为避免类似情况发生，我们会在提交任务过程中做代码校验，对于性能问题、规范问题、代码质量问题都会给出必要的提示，比如sql代码对于除数为0没有做代码兼容，比如我们的ddl语句中没有做数据生命周期的设置，比如sql的query中没有做分区的条件限制，甚至你的sql代码别人已经计算过，可以复用结果不需要重新计算这些问题，我们都会给出精确到提示。

在数据研发过程中， 代码编写可能只占工作量的20%，那么大部分时间都去干吗了？是数据验证，代码修改前和代码修改后，数据到底差多少，差在哪儿？过去如果没有工具只能写一堆角本，再去验证，效率极其低下，而且极易出错，现在有了“在彼岸”工具我们可以通过简单的勾勾选选就知道前后差异到底差在哪？然后迅速给测试报告，保证整个研发过程的数据质量是有保障的。

最后，任务上线后，大量时间都在运维，监控数据质量、监控产出时间等等，这些日常要去关注的工作我们也会有相关的工具去支持，因此OneData体系工具是全域数据建设的重要保障。

工具有了，规范有了，我们还需要与研发流程全程打通，我们就可以确保规范真正的落实到每位开发者身上，因此我们可以这样来理解研发流程：某位研发同学在做数据需求，要先把规范定义完成才能继续进行代码开发。

代码开发中会有两道检查：

第一道是SQLscan ：这里面会检查代码规范性、代码质量、可能出现的性能问题，把这些问题避免掉；

另一道是“在彼岸”数据测试 ，重要的数据做了数据变更后，会要求做回归测试流程，轻松简单的勾选，就可以快速给出测试。如果任务需在生产环境运行， 这两个环节必须完成后才能够提交，上述过程就是整个基于OneData体系的研发流程。

目前阿里巴巴数据总量已超EB级别，总表数也已经超百万，这么大体量下，如何能够做到高效灵活却又不失规范的大数据建设，我们确实探索了很长时间。

随着阿里业务的不断拓展，对于大数据能力的要求会越来越高，技术上，如何突破传统数仓etl架构？我们从基础设施的计算存储分离、离线在线混布等事情上已经开始探索，相信在不久的将来，我们会对传统数仓etl进行重新的定义。

你可能还喜欢

点击下方图片即可阅读

《阿里巴巴Java开发规约》插件使用详细指南

云栖大会珍贵花絮，看完倍骄傲！

本次云栖大会上，阿里开源了哪些顶级项目？

关注 「阿里技术」

把握前沿技术脉搏

大数据作为Tech Insight热点内容，12月19日上午北京场再一次惊爆会场，前后两个门口都挤满了用户，150人的场子，却挤了300多人，大多数用户边掂着脚认真听讲，还边录音。

一个参加完大数据场的用户在Tech Insight结束后到前台来给工作人员说到，Tech Insight特别棒，没有听过瘾，明天还有就好了。他还说到，Tech Insight论坛讲的内容都是其它企业的实际应用场景，听起来就像是我们自己公司的业务搭建中的场景再现一样，非常实用。我们来看看阿里巴巴是如何对海量数据进行整合和价值发掘的，同时这对其他企业也具有很好的借鉴意义。

阿里巴巴大数据建设经历了不断理念革新和实战、不断量变和质变的过程，其中，2014.04-2015.11的阿里集团数据公共层建设和2016.09开启的阿里巴巴大数据能力赋能社会是阿里巴巴在大数据领域的两次关键质变，第一次质变确定了阿里巴巴数据中台业务模式，第二次质变确定了阿里巴巴数据赋能社会的战略。

一、那么阿里巴巴是怎么通过数据中台业务模式来进行阿里内部数据建设的？

企业的发展，往往伴随着业务更多元化，而与此同时企业在积极推进业务数据化，因此越来越多的企业伴随着各个垂直业务的发展，形成了一个个垂直的数据中心，如何打通这些数据并且以统一的标准进行建设，以达到技术降本、应用提效、业务赋能的目标，是众多企业面临的问题。

阿里巴巴提出的数据中台模式正是为解决这些问题而生，并通过实践形成了统一全域数据体系，实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。

全域数据采集与引入：以需求为驱动，以数据多样性的全域思想为指导，采集与引入全业务、多终端、多形态的数据；

标准规范数据架构与研发：统一基础层、公共中间层、百花齐放应用层的数据分层架构模式，通过数据指标结构化规范化的方式实现指标口径统一；

连接与深度萃取数据价值：形成以业务核心对象为中心的连接和标签体系，深度萃取数据价值；

统一数据资产管理：构建元数据中心，通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务：通过构建服务元数据中心和数据服务查询引擎，面向业务统一数据出口与数据查询逻辑，屏蔽多数据源与多物理表；

极大的丰富和完善了阿里巴巴大数据中心，OneData、OneID、OneService渐趋成熟并成为上至CEO、下至一线员工共识的方法论体系。

二、是否在阿里生态之外，这套在阿里巴巴生态内实战过的数据中台模式可以推而广之、赋能全社会呢？

这就为大数据能力赋能阿里生态内外的社会思考开始酝酿并悄然拉起帷幕！未来，阿里巴巴还将全力以赴的分享自己的大数据观和基于阿里巴巴大数据观的数据中台业务模式。

赋能业务并闭环迭代：数据中台的建设的最终目标还是赋能业务，但在赋能业务的过程中，反馈数据和新数据需要源源不断地从业务前台回流到数据中台，形成闭环且可不端迭代。

企业建设数据中台建设有三个必要条件，战略决心、人才投入和工具保障。数据中台模式的建设不是一个运动，也不是一个一次性的项目，而是需要不断投入迭代的过程，并且可能会驱动企业的组织和流程进化，因此需要企业的决策层从战略上认同和下决心。数据中台的构建需要大数据人才，并通过一套完善的大数据工具来支撑建设。而人才方面可以通过借鉴成熟的方法论+外部服务商的引入+好的大数据工具来降低依赖。阿里的智能数据引擎Dataphin，结合数据中台实践沉淀的方法论和建模化的自动代码生成等技术能力和功能，可以高效、高质助力企业从各垂直业务的数据到统一全域数据的转变，建设自有的数据中台。

一个企业的大数据架构体系的成熟度将很大程度决定了企业大数据团队资源的长期投入是否能聚焦在业务问题，一般企业只有50%资源投入在业务问题解决，另外50%资源投入在应对源业务系统的突发变更，应对数据架构和模型体系的调整与优化。解决此问题需要从三方面着手：第一：构建一个统一的研发工作平台，让大数据的模型设计与实现一体化协同；第二：采用系统化的方法替代工程师设计，实现物理模型和物理运行代码的自动化生产,让架构调整与优化在系统层面自动完成；第三：构建一个以逻辑模型为中心的数据架构体系，既可以简化数据访问的复杂度，有可以屏蔽数据源变更的影响范围。数据引擎Dataphin从这三方面解决大型企业数据架构问题，帮助企业构建全域数据构建体系，实现企业大数据资源能力要求简化，实现企业大数据资源更加聚焦在利用大数据实现业务价值问题，来帮助大型企业实现数字化转型。

如何打通这些数据并以统一的标准进行建设，以达到技术降本、应用提效、业务赋能的目标，将会成为众多企业面临的问题，而数据中台模式正是为解决该问题而生。全域数据采集与引入、标准规范数据架构与研发、连接与深度萃取数据价值、统一数据资产管理、统一主题式服务、赋能业务并闭环迭代，是数据中台建设的核心六个方面。对于数据中台建设有三个必要条件，战略决心、人才投入和工具保障，借力阿里的智能数据引擎Dataphin，通过其结合数据中台实践沉淀的方法论和自动化代码生成等技术能力，可极好地解决人才和工具两方面的问题。

流量对于电商来说是一条生命线，但随着后流量时代的到来，流量呈现去中心化和碎片化的趋势。2016年，内容创业兴起，内容已然成为当下流量的新入口，而内容营销也成为电商们无法忽视的议题。其中，数据的作用越来越凸显，通过数据分析流量的来源路径和渠道互动效果，可以有效地洞察用户行为，让品牌更好地触达消费者。

在昨天的“淘宝大学超级公开课”上，阿里巴巴集团高级产品专家、生意参谋业务负责人林鸣晖（花名：默飞）就提出了“无数据不内容”的观点，在现场，他详细介绍了内容行业的发展趋势，及阿里大数据赋能内容的若干计划。据他介绍，今年7月底，生意参谋平台也将通过业务专区推出全新的内容分析小站。

在林鸣晖看来，阿里巴巴数据赋能内容有三大利器：全内容链路数据采集、全内容渠道数据整合以及跨屏消费者精准洞察。首先是全内容链路采集，阿里巴巴采集用户从发现内容到购买商品整个过程产生的数据，数据全面囊括了“发现曝光”“阅读播放”“评论互动”“品牌传播”“导购成交”，由此可以清晰地观察每个用户在接收内容后不同阶段的特征，进而在内容策划上对不同阶段的消费者有所侧重，使得对每个消费者的触达更为精准，大大提升品牌触达效率。

然后是全内容渠道数据整合。众所周知，阿里巴巴既有大电商生态数据（淘宝、天猫、聚划算、淘抢购等），又有大文娱生态数据（优酷、土豆、UC、淘宝头条、达人等）。这些全面的数据让谷歌高管都感叹阿里巴巴有着超过“Google+Facebook+Amazon三巨头数据维度的集合体”。这些数据都是真人数据，并且和消费者直接关联，更为重要的是，阿里巴巴基于OneID能力实现了这两方数据的融合和打通，能够准确地识别每个账号背后“真人”的全网行为。随后，阿里巴巴将借助“GProfile”服务，根据用户行为，打上不同的标签，再完成CP与商家的匹配及IP与目标人群的匹配。

此外，阿里巴巴也做到了跨屏消费者精准洞察。谷歌的调查研究表明，绝大多数的媒体消费都是基于屏幕的，而跨屏消费在其中占据着主导地位。从PC端到移动端，阿里巴巴依托它的强账号体系，收集了用户地域、年龄、职业、品牌偏好、兴趣等多维度数据，把一个人立体动态地勾勒出来，从而洞察用户行为，选择合适的内容及渠道进行营销。

在阿里全域内容数据体系中，有“内容生产创作数据分析”、“内容发行传播数据模型”、“内容商业变现数据模型”、“用户画像特征数据模型”、“CP价值苹果模型”“CP&商家特征匹配模型”等等板块，从内容生产到合作对接，阿里通过大数据及数据分析技术全方位赋能创作者、品牌以及商家。结合这些数据，可以更好的实现热点事件的内容生产、传播前的媒介选择、目标用户的精准对接；而在内容出品后，通过对其数据的全方位采集，又将反馈完善内容数据体系，做到内容数据的迭代。

电商的未来将会是“人”、“货”、“场”三者的有机组合，货作为连接“人”和“场”的交集，已经不单纯是物理意义上的货物，从推荐到达人、网红，内容已经成为“货”的重要代表。如今，纯粹靠着编纂、造假、刷量等方式的内容营销方式逐渐被边缘化和淘汰，唯有对内容有着深刻理解，在数据技术支撑下，才能真正地把握内容营销的红利。阿里巴巴正在通过大数据技术正在一步步奠定自己内容变革的地位，开辟内容营销所带来的流量新格局。

我们知道，阿里巴巴也可以用数据包批量上传商品，可是这个数据包该如何制作?下面为大家揭晓怎么采集数据制作成阿里巴巴数据包为大家批量上传阿里巴巴的商品！

这里介绍的是抓取阿里巴巴中商品制作成阿里巴巴的数据包，首先我们在工具箱的首页先找到”制作阿里巴巴数据包“这个功能选项，

选择抓取商品的使用方式有3种抓取商品方式，在这里以B方式做详细介绍，其他方式请查看相关文字提示输入要抓取的宝贝地址或店铺地址到B抓取方式中，再点击“抓取该地址的商品”按钮，如输入的是某宝贝地址   

选择抓取商品如图：一、可选择抓取整页商品二、抓取整店商品三、批量抓取商品四、按向导抓取商品其中三、四是回到之前界面选择其他方法抓取选择喜欢的方式抓取好商品

选择好好开始下载商品，然后查看是否成功抓取该商品如显示抓取到的宝贝，则成功抓取

转换商品类目（这一步如果是同平台的话请直接进入下一步进行参考）详细查看商品类目匹配的是否正确，如有问题可以手动去编辑或批量去编辑类目，

转换商品详情查看商品详情是否转换正确，如出现属性没有转化正确，可以根据提示批量编辑宝贝的属性

导出数据包请选择导出数据包位置、导出文件类型及商品描述图片处理方式，再点击“导出”按钮

成功导出数据包

注意这个数据包只能用商机助理来上传；在转换商品详情的时候记得多修改宝贝，让宝贝更美观，更个性化，以达到让客户看着更舒心，从而才能提高店铺转化！

D

本内容出自《大数据之路：阿里巴巴大数据实践》，转载请注明阿里数据。点击阅读原文获取本章全部阅读信息。

大数据之路

阿里巴巴大数据实践连载

作者简介

阿里巴巴数据技术及产品部。定位于阿里集团数据中台，为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。作为阿里大数据战略的核心践行者，致力于“让大数据赋能商业，创造价值”。现在，阿里巴巴数据技术及产品部正通过技术和产品上的创新，探索全域数据的价值，将阿里在大数据上沉淀的能力对外分享，为各行各业的发展带来更多可能性。

01

本章内容摘要

数据采集作为阿里大数据系统体系的第一环尤为重要。因此阿里巴巴建立了一套标准的数据采集体系方案，致力全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。

本章主要介绍数据采集中的日志采集部分，阿里巴巴的日志采集体系方案包括两大体系：

1）Aplus.JS是Web端（基于浏览器）日志采集技术方案；

2）UserTrack是APP端（无线客户端）日志采集技术方案。

本章从浏览器的页面日志采集、无线客户端的日志采集以及我们遇到的日志采集挑战三块内容来阐述阿里巴巴的日志采集经验。

02

（1）页面浏览（展现）日志采集

顾名思义，页面浏览日志是指当一个页面被浏览器加载呈现时采集的日志。此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。页面浏览日志是目前成熟度和完备度最高，同时也是最具挑战性的日志采集任务，我们将重点讲述此类日志的采集。

（2）页面交互日志采集

当页面加载和渲染完成之后，用户可以在页面上执行各类操作。随着互联网前端技术的不断发展，用户可在浏览器内与网页进行的互动已经丰富到只有想不到没有做不到的程度，互动设计都要求采集用户的互动行为数据，以便通过量化获知用户的兴趣点或者体验优化点。交互日志采集就是为此类业务场景而生的。

除此之外，还有一些专门针对某些特定统计场合的日志采集需求，如专门采集特定媒体在页面被曝光状态的曝光日志、用户在线状态的实时监测等，但在基本原理上都脱胎于上述两大类。

03

无线客户端的日志采集

众所周知，日志采集多是为了进行后续的数据分析。

移动端的数据采集，一是为了服务于开发者，协助开发者分析各类设备信息；二是为了帮助各APP更好地了解自己的用户，了解用户在APP上的各类行为，帮助各应用不断进行优化，提升用户体验。

无线客户端的日志采集采用采集SDK来完成，在阿里巴巴内部，多使用名为UserTrack的SDK来进行无线客户端的日志采集。无线客户端的日志采集和浏览器的日志采集方式有所不同，移动端的日志采集根据不同的用户行为分成不同的事件，“事件”为无线客户端日志行为的最小单位。基于常规的分析，UserTrack（UT）把事件分成了几类，常用的包括页面事件（同前述的页面浏览）和控件点击事件（同前述的页面交互）等。

对事件进行分类的原因，除了不同事件的日志触发时机、日志内容和实现方式有差异之外，另一方面是为了更好地完成数据分析。在常见的业务分析中，往往较多地涉及某类事件，而非全部事件；故为了降低后续处理的复杂性，对事件进行分类尤为重要。要更好地进行日志数据分析，涉及很多方面的内容，如需要处理Hybrid应用，实现H5和Native日志的统一；又如识别设备，保证同一设备上各应用获取到的设备信息是唯一的。除此之外，对于采集到的数据如何上传，以及后续又如何合理处理等，每个过程都值得我们进行深入的研究和探索。

04

日志采集的挑战

对于目前的互联网行业而言，互联网日志早已跨越初级的饥饿阶段（大型互联网企业的日均日志收集量均以亿为单位计量），反而面临海量日志的淹没风险。各类采集方案提供者所面临的主要挑战已不是日志采集技术本身，而是如何实现日志数据的结构化和规范化组织，实现更为高效的下游统计计算，提供符合业务特性的数据展现，以及为算法提供更便捷、灵活的支持等方面。

这里介绍两个最典型的场景和阿里巴巴所采用的解决方案。点击［原文阅读］可阅读本章全部信息。

1．日志分流与定制处理

2．采集与计算一体化设计

▲数据处理全链路

《大数据之路：阿里巴巴大数据实践》为2017年阿里巴巴数据技术及产品部集合了团队内多位数据一线工作者汇编而成，全面系统介绍阿里巴巴大数据系统架构。回复：书籍，可以获取相关购买信息。

◆

END

阿里数据［AliData］_阿里数据中台官方账号

大数据赋能商业创造价值

阿里巴巴数据技术及产品部阿里数据中台唯一官方账号

近距离了解数据在阿里的点滴进程