扩展框架

近日，2017云栖大会·深圳峰会如期举行，多项阿里云新产品对外发布。在企业级互联网架构分会场，来自阿里中间件（Aliware）的技术专家及合作伙伴，为现场参会嘉宾带来最新的传统IT架构到企业级互联网架构跨越式升级、实现互联网转型的产品及解决方案。其中高级技术专家姜宇在分享中带来的Aliware新产品—全局事务服务（GlobalTransactionService，简称GTS），在分布式事务处理上带来的高性能和技术创新令到场参会的各路技术专家眼前一亮。

Aliware新成员—全局事务服务GTS技术分享现场

分布式事务背景

OLTP领域中很多业务场景都会面临事务一致性的需求，传统业务系统常以单体应用形式存在，只需借助特有数据访问技术和框架，结合关系型数据库自带的事务管理机制来实现事务一致性的要求。而目前大型互联网应用和平台往往是由一系列分布式系统构建而成，平台和技术架构也是流派纷呈。

尤其是微服务架构盛行的今天，一个看似简单的功能，内部可能需要调用多个“服务”并操作多个数据库或分片来实现，单一技术手段和解决方案已无法满足这些复杂应用场景。因此，分布式系统架构中分布式事务是一个绕不过去的挑战。什么是分布式事务？简单的说，就是一次大操作由不同小操作组成，这些小操作分布在不同服务器上，分布式事务需要保证这些小操作要么全部成功，要么全部失败。

本质上来说，分布式事务就是为了保证不同数据库或消息系统的数据一致性。

分布式事务三大难题：一致性、高性能和易用性

分布式系统的事务一致性本身是一个技术难题，没有一种简单完美的方案能够应对所有场景，很难兼顾事务一致性，高性能与易用性。三者缺一，则适用场景大大受限，实用价值不高。

首先是一致性：要求在各种异常情况下保证数据是强一致的。目前最常见的一致性解决方案是最终一致性方案，通常是结合消息中间件实现，在互联网企业中广泛使用。最终一致性实现方案比较复杂，开发、运维成本高，并且与强一致相比，业务上是受很多限制的。

其次是高性能：目前基于XA协议的两阶段提交是最常见的分布式事务解决方案，但XA类产品的典型不足是性能低下，这对于互联网大并发需求下的多数企业是无法接受的。国外具有几十年历史和技术沉淀的基于XA模型的商用分布式事务产品，在相同软硬件条件下，开启分布式事务后吞吐经常有数量级的下降。

第三是易用性：为了满足一致性和高性能要求，出现了一些特定场景下的分布式事务方案，但通常会限制用户用法，对业务侵入性强，无法做到简单易用，带来更多开发成本。

世界级应用场景，催生世界级分布式事务解决方案

早期的阿里巴巴集团随着业务高速发展，内部不断涌现各种典型的分布式事务需求，比如阿里内部广泛使用的TDDL分库分表所带来的分库间数据不一致问题，HSF服务化后所带来的服务链路上数据不一致问题等。在这个过程中，各业务技术团队利用现有中间件技术手段实现分布式事务处理，但这些手段都较为复杂，工作量大，对应用侵入严重，有些适用场景还有限制。

2014年5月开始，阿里中间件（Aliware）内部命名为TXC的分布式事务中间件开始研发，同年10月1.0版本发布，分布式事务功能已经具备，但性能还有局限，只适合于吞吐量较小的场景；2015年12月，TXC2.0版本发布，相比1.0版本性能提升10倍以上，在阿里内部多条业务线得到部署。

通过部署TXC，应用只需极少的代码改造和配置，即可享受分布式事务带来的便利。TXC作为阿里内部为解决分布式数据强一致性问题而研发的分布式事务中间件，彻底解决了分布式事务数据一致性的问题，简单易用，先后在淘宝，菜鸟，淘票票和村淘等多个业务的核心系统上得到部署和验证。

顺应云时代潮流，GTS应运而生

从2016年年中开始，在阿里内部一直接受锤炼的分布式事务中间件TXC在2.0版本后，随着阿里中间件上云热潮，开始通过专有云输出，并得到了市场极大认可，适用场景得到进一步拓展，全面涵盖电商、物流、金融、零售、政企、游戏、文娱等领域。2017年2月，TXC2.0通过阿里云对外公测，外部改名为全局事务服务（GlobalTransactionService，简称GTS）。

GTS总体架构图

在整体架构方面，GTS由三个组件组成：客户端（GTS-Client），资源管理器（RM），事务协调器（GTS-Server）。客户端与事务协调器间，资源管理器与事务协调器间都是通过GTS分布式事务协议进行通信。客户端负责界定事务边界，开启/提交/回滚全局事务，资源管理器负责管理资源，支持的资源包括：DRDS，Oracle，MySQL，RDS，PostgreSQL，H2，MQ，后续计划根据实际业务需求支持更多类型资源。事务协调器，也就是GTS服务器，是分布式事务处理的大脑，负责协调整个事务过程。GTS事务通过RPC框架和消息中间件进行事务传递，把整个业务调用链路或者消息链路串成一个分布式事务，极大简化应用开发。

在高可用方面，GTS支持同城容灾与两地三中心容灾，可保证各种异常情况下的数据一致。在易用性方面，GTS对业务无侵入，真正做到业务与事务分离，开发者可以集中精力于业务本身。在技术创新方面，GTS也走在了行业前沿。项目负责人阿里高级技术专家姜宇（花名于皋）拥有13项分布式事务的核心技术专利，研发团队的技术专家张松树也有3篇专利。通过大量的专利技术，精妙的算法，与精巧的分布式事务私有协议，GTS取得了超强的性能。

另外，在部分严苛的行业应用场景，比如金融用户的资管项目分布式事务场景下，GTS也经历了严格的测试，按照用户要求顺利完成功能性、稳定性和性能测试。下图是一个典型性能测试场景数据，从实测数据可以看出，开启GTS（TXC）分布式事务后性能下降不明显。目前GTS已经在资金业务上有实际应用，线上大量真实数据验证了GTS的高效可靠。

GTS典型性能测试场景数据

性能优异，业务场景广泛

作为新一代企业级分布式事务服务产品，全局事务服务GTS兼顾了事务一致性，高性能与易用性。在满足事务ACID的前提下，普通配置的单服务器就可以达到15000TPS以上的超强性能（两个小时内完成1亿多笔业务），3台8核16G内存虚机组成的服务器集群可以支撑1万TPS以上的分布式事务，与同类产品相比，性能优势明显。另外简单易用对业务无侵入，为广大企业大幅降低开发成本，业务场景非常广泛：

1、跨多分库的分布式数据库事务场景：关系型数据库普遍支持事务，能够满足事务内的SQL要么全部成功、要么全部失败。但客户从单机数据库往分布式数据库迁移的情况下，原有的一个事务往往会被拆分为多个分库上的事务。由于网络的不可靠性，容易出现部分分库上成功，部分分库上失败的情况。GTS结合DRDS可彻底解决了这一问题。

2、跨多数据库的事务场景：复杂的业务系统经常会使用多个数据库，甚至多种类型的数据库，比如企业中Oracle，MySQL和其他关系型数据库并存的情况时有发生。业务同时操作多个数据库的情况下，一旦发生先提交的事务成功、后提交的事务失败，就很难解决。GTS支持各种常见关系型数据库，并提供多数据库间的事务保证。

3、跨数据库系统、消息系统的事务场景：消息系统被广泛地用于系统间解耦，一般先执行一段业务逻辑，执行成功会向消息系统发送一条消息，用于通知或触发下游业务。这个场景下，如果业务逻辑执行成功、消息发送失败，则业务不完整；如果先发送消息，但执行业务逻辑失败，同样存在问题。GTS提供了针对消息系统以及常见关系型数据库的操作入口，保证数据库操作和发送消息要么同时成功、要么同时失败。

4、跨服务的事务场景：随着业务复杂度提升，大多企业会对业务进行服务化改造。可能存在服务一操作MySQL和DRDS，服务二操作Oracle，要求两个服务操作要么同时成功、要么同时失败，否则会造成业务数据的不一致。GTS可以很方便地进行跨多个服务的分布式事务。

依托阿里中间件(Aliware)，打造世界一流企业级互联网架构平台

据GTS项目负责人姜宇介绍，“GTS作为一款高性能、高可靠、接入简单的分布式事务中间件产品，可与DRDS、RDS、Oracle、MySQL、PostgreSQL、H2等数据源，EDAS、Dubbo及多种私有RPC框架，MQ消息队列等中间件产品配合使用，可轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。策略丰富，易用性和性能兼顾，将真正完善阿里云中间件产品线。”

GTS（TXC）的研发依托于阿里中间件(Aliware)团队，中间件技术部是阿里巴巴集团生态系统的技术基石，为集团各大业务群提供可靠、高效、易扩展的技术基础服务；并在此基础上打造世界一流的中间件产品、高可用架构基础设施和企业级互联网架构平台，为全球企业和客户提供服务。

更多AliwareGTS产品服务和技术细节，请访问官网：

相关新闻

2016-04-19

2016-06-13

2016-10-24

2016-11-04

2017-12-29

2018年8月3日，成都——IBM公司(NYSE：IBM)今日在成都举办“2018IBM金融创新者大会”，汇聚了来自国内金融和银行业的200多位创新领袖，共同探讨中国金融企业所面临的商业环境变迁、全新市场挑战，以及如何凭借科技创新促进业务转型与重塑等话题。大会期间，IBM发布了银行业和金融市场《2017全球最高管理层调研报告——传统企业的逆袭》行业调研报告以及《锐意创新，驭浪前行——传统银行拉开逆袭大幕》专家洞察报告，指出了传统金融企业数字化转型所呈现出的“构建平台创新优势、充分利用数据价值、实现敏捷运营”三大趋势，以及基于本地市场的三个“行动机遇”。IBM致力于凭借其领先的技术及解决方案，助力传统银行及金融企业树立信心，拥抱变革，实现企业成功转型。

2018IBM金融创新者大会现场

近年来，在科技金融迅速发展的政策和技术动因下，中国科技金融企业已经占据全球50%以上的市场份额。如今，领先的金融机构都在围绕数字化前台、灵活的中后台、快速的产品迭代、风险控制与合规、客户洞察与生态系统来打造核心竞争力。与此同时，人工智能、机器学习、云计算、区块链等新科技也在飞速迭代，并快速融入金融服务的各个领域。

IBM大中华区金融行业总经理郭仁声

IBM大中华区金融行业总经理郭仁声表示：“从几年前面对跨界竞争、颠覆变革的转型焦虑期，到如今借助技术创新重新掌握金融服务话语权，传统银行和保险企业正在迎来前所未有的数字化重塑机遇。但要真正实现业务创新，引领市场变革，银行和金融机构必须迅速采取行动，把握转型机遇。IBM拥有长达百年的科技积累和深厚的银行金融行业经验，在全球范围内有众多最佳实践，我们正在与中国的银行、保险和金融服务企业同行同创，把握全新发展机会，实现企业数字化转型逆袭。”

IBM全球商业价值研究院联合牛津经济研究院采访了来自112个国家、20个行业的12,854位高管，其中包括银行和金融服务业的1,618名最高层主管，发布了《2017全球最高管理层调研报告之银行业和金融市场传统企业的逆袭》。报告显示，40%的银行业受访者表示，他们所在的行业正经历翻天覆地的变化，但引发变化的主体相较于两年前却已经发生了截然不同的变化——71%的受访者则将剧变归因于那些曾经臃肿不堪，但如今已自我重塑，力争在数字时代蓬勃发展的金融机构。他们开始利用自身的生态系统优势，联合供应链上下游中的企业，大胆创新。受访高管一致认为，这些行业龙头企业比新进入市场的互联网等新锐企业更具竞争力。

构建平台创新优势，推动全新业务模式

在互联网时代，跨界竞争者往往将平台作为颠覆的利器——通过平台可以将供需双方直接连接起来，通过减少中间环节来有效创造价值，这一模式在零售等行业取得了巨大的成功。银行业和金融市场的最高层主管迅速发现了这种模式的潜力，虽然目前只有8%的受访者表示自己的企业采用了平台模式，但28%的受访者正在试验这个概念，21%的高管准备为此目的重新分配资本。

一些金融科技公司和互联网公司曾凭借平台等技术手段，通过蚕食、替代或转换等方式对传统银行业产生了一定程度的冲击和影响。但金融领域的特殊性使得金融平台不能仅仅连接供需双方，更重要的是要能够持续经营、管理风险、创造价值，而银行自身的资金优势和风险管理能力是新兴的技术金融公司无法比拟的。

相比较技术构建的优势壁垒，业务构建的竞争优势持续时间会保持得更长，而一旦锐意创新的传统银行开始全方位地采用新兴技术手段，有条不紊地推进变革，它们将具备更有利的条件做好新时代的金融服务，这也是传统银行业成功逆袭的基础。

IBM大中华区全球企业咨询服务部合伙人，金融服务行业总经理陈文

充分利用数据价值，创造全新商业价值

世界上的数据只有20%可以被公开搜索到，其他80%的数据都在传统企业的手中。从数据角度看，传统银行业相比“轻资产”的互联网企业拥有显而易见的优势。如果传统银行业能够利用好自己手中的数据“金矿”，就能为自身带来前所未有的价值。

在目前中国的实体经济中，众多行业中的企业都有大量的金融方面的需求，然而很多需求是过去的传统银行所不能完全满足的，因为很多需求是传统银行不能以有效且低成本的方式进行风险判别的。今天，随着众多新兴的数字化技术的出现，数据的潜能随着传统银行业数字化重塑的进程被无限的释放出来。

人工智能、区块链、物联网和云计算等新技术的兴起，让银行可以结合多年积累的行业专业知识和经验去挖掘数据背后的洞察、去发现未被满足的客户需求;能够以低成本高效率的方式去控制金融风险并大胆尝试各类业务和技术的创新;能够更高效地把手上的数据转化为真正意义上的商业价值。

实现敏捷运营，重塑基础架构、流程和文化

参与调研的企业高管指出影响企业成功的三个重要因素即率先尝试的新意愿、对高素质员工的支持，以及敏捷运营，这些领先企业通过重新设计基础架构、运营模式和组织文化，以快速响应市场变化。

首先，银行传统的IT基础架构框架是一维的，即业务功能以线性方式实现，这种架构常常导致跨渠道客户体验不一致，交易服务分散，功能重复和前后端数据分离。而未来的IT架构框架应当是多维的，能够跨出企业界限快速开发新服务，可扩展并能实时获取数据用于当前甚至未来的客户交互，并且通过集成实时响应洞察需求。

其次，银行面临的竞争不是部门级的竞争，而是企业级的竞争，因此建立从战略到流程再到应用的一整套企业级的、统一的标准规范至关重要。企业级标准不再以组织的边界划分，而是要打破部门或条线的竖井式流程，通过提取业务的变量，比如客户、产品、渠道和合作方等，形成整合的企业级流程，实现标准化。银行通过构建更高灵活度的业务流程，可以实现更高的业务敏捷性和灵活性。

此外，银行在转型中一定要解决文化转型的问题，IBM最高管理层调研发现，领先的企业往往非常重视对文化的变革，有70%的领先企业认为自己的企业已经建立了开放的企业文化，并且实现了敏捷运营。80%的银行业和金融市场重塑者已经开始主动征询员工的意见，开辟新的发展途径。

IBM大中华区金融行业总经理郭仁声指出，基于服务传统银行和金融行业多年的深厚行业积累，IBM认为广大银行和金融企业在数字化转型过程中，如果要实现成功逆袭，需要掌握三个行动机遇，即构建生态环境，拥抱平台金融;运用智能自动化高效、合规运营;建设安全云平台，打造数字化基础。

如今，传统银行及金融企业致力于创新并已经拉开逆袭大幕。通过平台化塑造、数据挖掘以及敏捷运营，传统银行及金融企业能够快速实现转型。然而，这些则依赖于现有科技能力的持续释放及高精尖的数字技术对现有信息科技系统的赋能。IBM则正是这些企业最坚实和有力的合作伙伴，通过领先的技术及解决方案，助力传统企业拥抱变革的浪潮，树立行业信心，并最终实现企业转型及业务重塑。

对于构建平台，IBM可以帮助银行及金融企业通过虚拟化将现有集中式基础架构中的单体应用转型到分布式基础架构;通过对业务流程、数据的梳理和建模，将单体应用解耦为分布式应用架构;通过微服务化或应用容器化，将分布式应用真正转型为以业务服务为基础的SOA架构;并通过构建开发、运维一体化，重构银行开发、测试、发布流程，使业务投放时间大大缩短，加快应用迭代。

不仅如此，IBM还将以其强有力的技术能力，将AI赋能到现有的科技体系中。包括，通过机器学习，找到高价值客户，在最适当的时机推荐最适合的产品;通过大数据分析，发现客户的异常行为，实时发现网络攻击，在事中自动启动防御措施;通过语音识别和文字理解，降低人工客户强度，提高人工客服质量;通过图像识别技术，实现票据自动分类，识别柜员和客户行为，提高业务效果，降低运行风险;通过自动化技术，把业务流程串接起来，减少人工环节，把人从简单重复的劳动中解放出来。

在协同创新方面，IBM通过更加开放的社区、黑客松及设计思维方式，与企业联手持续化地转型企业职工的技能，建立企业的创新文化和能力。IBM在区块链技术上的研发能力，能够极大增强交易环境的可信度，降低陌生交易对手的交易成本;IBMWatson技术可以把银行后台的整合能力拓展到上下游，创新合作模式，形成前所未见的“产品”;IBM的物联网技术，可视化技术(AR/VR)，将促使网点进一步数字化转型，促进金融与生活进一步接合，让金融服务无所不在。

云端逐渐成为大数据企业的必争之地。根据美国媒体报道，7月31日消息，分布式虚拟存储系统Alluxio发布1.8版本，加速针对数据分析及机器学习的云端部署。

Alluxio是世界上首个能以内存级速度集成数据的软件系统，其技术脱胎于其创始人李浩源博士在加州伯克利AMPLab的博士课题开源研究项目Tachyon——它能够在大数据应用层及存储层之间搭建一个虚拟数据层，让企业能够利用这个系统来使用和管理不同的数据应用及存储方案。此前，全球知名的现象级开源软件Spark及Mesos同样出自AMPLab，只是不同于针对存储的Alluxio，前者专注于计算，后者则专注于资源管理和调度。

由于拥有内存级的访问速度，Alluxio系统比过去的方案快了十倍甚至数十倍。

创建五年后，Alluxio是最活跃的数据生态系统开源项目之一，解决数据问题的能力备受信任。在中国市值排名前十的互联网公司中，已经有八家在应用Alluxio的技术方案，管理PB级别的数据。除此之外，华为、联想、中国电信、京东等公司也都在用它来管理数据，其他合作伙伴包括英特尔、三星、微软、Nvidia、Oracle等等。

Alluxio经历了数次版本更替。通过此次更新，这个系统希望能进一步支持不同的云端存储方案，加速数据储存、调取和使用的速度，解决深度学习面临的数据存储问题；与此同时，给他们非常重视的开源社区提供更多的支持和帮助。

针对云端部署，Alluxio的新版本提供了三个全新的功能：

1. 感知定位的数据管理工具。企业可以为数据应用设置不同的策略，根据数据的位置标记来选定具体的数据调用区域或者优化数据分布，从而降低调用不同存储位置的数据时的成本、提高效率。

2. 针对不同云端存储方案的优化。解决对象存储或者云端存储方案和传统的HDFS（HadoopDistributedFileSystem）方案中的API及执行效率的差别带来的问题；也让把数据从HDFS转移到对象存储时更加容易，真正做到在云端轻便地转移数据。

3. FUSE（FilesysteminUserspace）界面。FUSE能把云上的数据缓存在本地，通过普通的本地文件夹展现，以无缝支持现有的机器学习和大数据分析框架来存取云端数据。

云端趋势下，混合云部署的强大需求

此次Alluxio版本更新，可以说是顺应了企业“往云上走”的趋势。

近几年，不仅有层出不穷的云端数据存储、计算和分析创业项目提供服务，大公司也在寻求更好的云端部署方案。

2018年6月，微软收购知名开源开发平台GitHub后，并表示将进行GitHub与自己的云服务产品AzureCloud的整合。分析报告预测，未来云服务市场将从今年的281亿美元增长到2021年的533亿美元。

“数据分析和机器学习的兴起让云端的计算量大量增长，Alluxio的特性意味着它同样可以很好地管理混合云的数据。”李浩源对钛媒体说道。451Research的报告显示，预计在2019年，超过66%的企业会使用一个混合云或者多个云服务方案的架构，它们都可能面对不同云服务上迥异的操作差异，单凭自己很难保证效率，需要第三方服务方案的协助。

更远的未来里，中小型企业可能会彻底转向公有云部署。

Gartner预测，到2021年，全球超过50%的企业会应用纯粹的公有云存储方案，而更大的公司则会应用更多的第三方云端基础架构来管理混合云。

这和李浩源的判断相符。他认为，对于很多现代企业来说真正的价值往往在数据里。

尤其是对于某些大型企业来说，最核心的数据管理很难假手于人。2017年马云接受Bloomberg专访时曾说出金句，“数据的重要程度堪比上个世纪的石油。”

EricAnderson（时任Google产品经理）谈Alluxio

“总有一些数据他们希望保存在本地服务器上，但全部放在本地成本又太高，所以选折中方案，在一个无缝的架构下管理私有和公有云是一个刚需。”李浩源说道。

除此之外，Alluxio也希望能解决近几年火热的数据分析及深度学习面临的数据存储问题。

对于数据分析来说，已经有了不少使用云上数据的方案，Alluxio只是能帮助提高性能、降低费用。

对于深度学习，问题则稍显复杂。

“不是所有的训练数据都能直接用于像Tensorflow这种深度学习框架，另外各类分布式存储和云存储的交互方式和传统本地交互方式有很大区别，用户难以准确地配置和使用新工具。”举个例子，没有Alluxio时，让深度学习框架TensorFlow访问微软云服务AzureObjectstore上的数据就是一件难以完成的事情。

Alluxio的特性意味着它能整合各类存储系统，缩短各类深度学习框架与存储层之间的距离，提高效率及弹性、降低成本。另一方面，这次更新里的FUSE工具则让Alluxio可以挂载本地文件系统，让用户在使用远程云端分布式存储时，拥有和本地数据时相似的交互体验。

关注开源社区

除了针对云端部署及深度学习的更新之外，Alluxio的新版本还有另一个重点：为开发者提供了更多便利，包括：

1.提供针对应用运行的数据服务监视工具，包括能够获取集群实时数据的web图形界面以及命令行界面（CommandLineInterface）工具，让开发者能够更好地了解数据的使用情况、分析性能结果并获得数据洞察。

2.更完善的生态系统集成。把对数据服务的追踪和洞察扩展到不同的应用层和存储层，开发者可以通过新的工具直观地看到存储系统中的问题，比如延时的直方图和存储空间利用率。

3.一个入门套件（StarterKit），其中包括预建的代码及其他文件和一些简单的案例展示，包括“如何在本地机器上安装Alluxio”“如何安装和设置AWSS3Bucket（存储桶）及加速远程读取”，让开发者能更快地上手并使用Alluxio。

“开源社区是我们最珍视的事情之一，所以希望尽可能地帮助开发者理解和使用这个系统。”李浩源说道。他认为，自创立之初，这一社区带来的活力是推动Alluxio迅速进展的重要推力之一。

在2016年接受CSDN采访时，Alluxio曾表示“Alluxio是史上成长速度最快的开源社区之一”，如今其贡献者已经超过800人，在GitHub上星标超过3000个。

正在比赛气泡足球的部分Alluxio团队成员

这个项目里还有不少活跃的公司贡献者，他们还能提供针对具体产品和应用场景的反馈。英特尔、腾讯、阿里巴巴、百度、京东、陌陌等公司同样也是这个开源项目的贡献者之一。比如陌陌的工程师团队会基于陌陌的应用场景，做出适配和调整，而后经过Alluxio的社区管理者审核后接纳，“最终形成一个正向的反馈，是一个双向改进的过程”。

百度、去哪儿和陌陌都曾经就应用Alluxio之后的经验做出分享，比如百度此前分享过，在用他们自己开发的使用SparkSQL作为计算引擎的查询系统时，单独一次查询需要100-150秒；加上作为内存中心的存储层的Alluxio之后，数据可能会冲击本地或远程Alluxio节点，需要10-15秒；当所有数据储存在Alluxio本地时，平均只需5秒，速度提升了30倍。测试过后，百度围绕Alluxio和SparkSQL建立了一个完整的系统。

2016年初，Alluxio曾获得硅谷知名风险投资机构AndressenHorowitz的750万美元融资。