中企动力 > 头条 > 关系系统

网站性能检测评分

注:本网站页面html检测工具扫描网站中存在的基本问题,仅供参考。

关系系统

破解世界性技术难题! GTS让分布式事务简单高效 营销视频课程

img

潘宛

关注
近日,2017云栖大会·深圳峰会如期举行,多项阿里云新产品对外发布。在企业级互联网架构分会场,来自阿里中间件(Aliware)的技术专家及合作伙伴,为现场参会嘉宾带来最新的传统IT架构到企业级互联网架构跨越式升级、实现互联网转型的产品及解决方案。其中高级技术专家姜宇在分享中带来的Aliware新产品—全局事务服务(GlobalTransactionService,简称GTS),在分布式事务处理上带来的高性能和技术创新令到场参会的各路技术专家眼前一亮。

Aliware新成员—全局事务服务GTS技术分享现场

分布式事务背景

OLTP领域中很多业务场景都会面临事务一致性的需求,传统业务系统常以单体应用形式存在,只需借助特有数据访问技术和框架,结合关系型数据库自带的事务管理机制来实现事务一致性的要求。而目前大型互联网应用和平台往往是由一系列分布式系统构建而成,平台和技术架构也是流派纷呈。

尤其是微服务架构盛行的今天,一个看似简单的功能,内部可能需要调用多个“服务”并操作多个数据库或分片来实现,单一技术手段和解决方案已无法满足这些复杂应用场景。因此,分布式系统架构中分布式事务是一个绕不过去的挑战。什么是分布式事务?简单的说,就是一次大操作由不同小操作组成,这些小操作分布在不同服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。

本质上来说,分布式事务就是为了保证不同数据库或消息系统的数据一致性。

分布式事务三大难题:一致性、高性能和易用性

分布式系统的事务一致性本身是一个技术难题,没有一种简单完美的方案能够应对所有场景,很难兼顾事务一致性,高性能与易用性。三者缺一,则适用场景大大受限,实用价值不高。

首先是一致性:要求在各种异常情况下保证数据是强一致的。目前最常见的一致性解决方案是最终一致性方案,通常是结合消息中间件实现,在互联网企业中广泛使用。最终一致性实现方案比较复杂,开发、运维成本高,并且与强一致相比,业务上是受很多限制的。

其次是高性能:目前基于XA协议的两阶段提交是最常见的分布式事务解决方案,但XA类产品的典型不足是性能低下,这对于互联网大并发需求下的多数企业是无法接受的。国外具有几十年历史和技术沉淀的基于XA模型的商用分布式事务产品,在相同软硬件条件下,开启分布式事务后吞吐经常有数量级的下降。

第三是易用性:为了满足一致性和高性能要求,出现了一些特定场景下的分布式事务方案,但通常会限制用户用法,对业务侵入性强,无法做到简单易用,带来更多开发成本。

世界级应用场景,催生世界级分布式事务解决方案

早期的阿里巴巴集团随着业务高速发展,内部不断涌现各种典型的分布式事务需求,比如阿里内部广泛使用的TDDL分库分表所带来的分库间数据不一致问题,HSF服务化后所带来的服务链路上数据不一致问题等。在这个过程中,各业务技术团队利用现有中间件技术手段实现分布式事务处理,但这些手段都较为复杂,工作量大,对应用侵入严重,有些适用场景还有限制。

2014年5月开始,阿里中间件(Aliware)内部命名为TXC的分布式事务中间件开始研发,同年10月1.0版本发布,分布式事务功能已经具备,但性能还有局限,只适合于吞吐量较小的场景;2015年12月,TXC2.0版本发布,相比1.0版本性能提升10倍以上,在阿里内部多条业务线得到部署。

通过部署TXC,应用只需极少的代码改造和配置,即可享受分布式事务带来的便利。TXC作为阿里内部为解决分布式数据强一致性问题而研发的分布式事务中间件,彻底解决了分布式事务数据一致性的问题,简单易用,先后在淘宝,菜鸟,淘票票和村淘等多个业务的核心系统上得到部署和验证。

顺应云时代潮流,GTS应运而生

从2016年年中开始,在阿里内部一直接受锤炼的分布式事务中间件TXC在2.0版本后,随着阿里中间件上云热潮,开始通过专有云输出,并得到了市场极大认可,适用场景得到进一步拓展,全面涵盖电商、物流、金融、零售、政企、游戏、文娱等领域。2017年2月,TXC2.0通过阿里云对外公测,外部改名为全局事务服务(GlobalTransactionService,简称GTS)。

GTS总体架构图

在整体架构方面,GTS由三个组件组成:客户端(GTS-Client),资源管理器(RM),事务协调器(GTS-Server)。客户端与事务协调器间,资源管理器与事务协调器间都是通过GTS分布式事务协议进行通信。客户端负责界定事务边界,开启/提交/回滚全局事务,资源管理器负责管理资源,支持的资源包括:DRDS,Oracle,MySQL,RDS,PostgreSQL,H2,MQ,后续计划根据实际业务需求支持更多类型资源。事务协调器,也就是GTS服务器,是分布式事务处理的大脑,负责协调整个事务过程。GTS事务通过RPC框架和消息中间件进行事务传递,把整个业务调用链路或者消息链路串成一个分布式事务,极大简化应用开发。

在高可用方面,GTS支持同城容灾与两地三中心容灾,可保证各种异常情况下的数据一致。在易用性方面,GTS对业务无侵入,真正做到业务与事务分离,开发者可以集中精力于业务本身。在技术创新方面,GTS也走在了行业前沿。项目负责人阿里高级技术专家姜宇(花名于皋)拥有13项分布式事务的核心技术专利,研发团队的技术专家张松树也有3篇专利。通过大量的专利技术,精妙的算法,与精巧的分布式事务私有协议,GTS取得了超强的性能。

另外,在部分严苛的行业应用场景,比如金融用户的资管项目分布式事务场景下,GTS也经历了严格的测试,按照用户要求顺利完成功能性、稳定性和性能测试。下图是一个典型性能测试场景数据,从实测数据可以看出,开启GTS(TXC)分布式事务后性能下降不明显。目前GTS已经在资金业务上有实际应用,线上大量真实数据验证了GTS的高效可靠。

GTS典型性能测试场景数据

性能优异,业务场景广泛

作为新一代企业级分布式事务服务产品,全局事务服务GTS兼顾了事务一致性,高性能与易用性。在满足事务ACID的前提下,普通配置的单服务器就可以达到15000TPS以上的超强性能(两个小时内完成1亿多笔业务),3台8核16G内存虚机组成的服务器集群可以支撑1万TPS以上的分布式事务,与同类产品相比,性能优势明显。另外简单易用对业务无侵入,为广大企业大幅降低开发成本,业务场景非常广泛:

1、跨多分库的分布式数据库事务场景:关系型数据库普遍支持事务,能够满足事务内的SQL要么全部成功、要么全部失败。但客户从单机数据库往分布式数据库迁移的情况下,原有的一个事务往往会被拆分为多个分库上的事务。由于网络的不可靠性,容易出现部分分库上成功,部分分库上失败的情况。GTS结合DRDS可彻底解决了这一问题。

2、跨多数据库的事务场景:复杂的业务系统经常会使用多个数据库,甚至多种类型的数据库,比如企业中Oracle,MySQL和其他关系型数据库并存的情况时有发生。业务同时操作多个数据库的情况下,一旦发生先提交的事务成功、后提交的事务失败,就很难解决。GTS支持各种常见关系型数据库,并提供多数据库间的事务保证。

3、跨数据库系统、消息系统的事务场景:消息系统被广泛地用于系统间解耦,一般先执行一段业务逻辑,执行成功会向消息系统发送一条消息,用于通知或触发下游业务。这个场景下,如果业务逻辑执行成功、消息发送失败,则业务不完整;如果先发送消息,但执行业务逻辑失败,同样存在问题。GTS提供了针对消息系统以及常见关系型数据库的操作入口,保证数据库操作和发送消息要么同时成功、要么同时失败。

4、跨服务的事务场景:随着业务复杂度提升,大多企业会对业务进行服务化改造。可能存在服务一操作MySQL和DRDS,服务二操作Oracle,要求两个服务操作要么同时成功、要么同时失败,否则会造成业务数据的不一致。GTS可以很方便地进行跨多个服务的分布式事务。

依托阿里中间件(Aliware),打造世界一流企业级互联网架构平台

据GTS项目负责人姜宇介绍,“GTS作为一款高性能、高可靠、接入简单的分布式事务中间件产品,可与DRDS、RDS、Oracle、MySQL、PostgreSQL、H2等数据源,EDAS、Dubbo及多种私有RPC框架,MQ消息队列等中间件产品配合使用,可轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。策略丰富,易用性和性能兼顾,将真正完善阿里云中间件产品线。”

GTS(TXC)的研发依托于阿里中间件(Aliware)团队,中间件技术部是阿里巴巴集团生态系统的技术基石,为集团各大业务群提供可靠、高效、易扩展的技术基础服务;并在此基础上打造世界一流的中间件产品、高可用架构基础设施和企业级互联网架构平台,为全球企业和客户提供服务。

更多AliwareGTS产品服务和技术细节,请访问官网:

相关新闻

2016-04-19

2016-06-13

2016-10-24

2016-11-04

2017-12-29

薛延波博士加入BOSS直聘 负责组建CSL职业科学实验室 推广视频课程

img

家夏旋

关注
DoNews7月25日消息(记者程侃如)7月25日,招聘应用BOSS直聘宣布成立CSL(CareerScienceLab)职业科学实验室,将对国内“企业—劳动者”系统的资源配置做系统性研究。 

BOSS直聘方面表示,中国有将近6亿的白领在数千万家企业工作,但是对于职场人在工作中的成就感、幸福感、安全感,企业在人才竞争中的竞争力、洞察力及双方的匹配等问题缺乏系统性的研究,因此希望成立CSL职业科学实验室,从科学的角度,用严谨的方式,对“职业”这一门科学进行系统性的研究。 

CSL职业科学实验室由薛延波博士牵头组建。2018年7月薛延波博士加入BOSS直聘并担任BOSS直聘首席科学家。薛延波博士拥有13年机器学习方面研究经验,5年量子计算方面研究经验。曾担任商用量子计算机生产商D-WAVE量子计算机实验室高级深度学习科学家,从事量子计算机的性能测评、量子计算在深度学习和人工智能领域的应用、基于量子计算的模式识别等项目。 

薛延波认为,“职业科学(CareerScience)”事实上是心理学、社会学、经济学与计算科学、机器学习、数据挖掘的交叉。在研究中,研究团队将会将人文科学与机器学习技术进行有机结合,通过理论猜想—数据/实验验证的方式,完成对职业科学的探索。 

在具体实验室的运营上,CSL职业科学实验室主要聚焦在研究上,与BOSS直聘直接的产品迭代、运营没有特别的关系。BOSS直聘CEO赵鹏表示,成立这个实验室,在科学方法的基础上,构建职业科学领域的研究结构。

目前CSL职业科学实验室分别开放了“职业科学家”、“机器学习科学家”两个职位。工作内容均包括“研究、设计以及开发算法和模型,以便更好的理解人在个体层面和社会层面的职业需求。”两个职位的薪资水平在年薪50万元左右。(完)

融绘数字未来,2018新华三数字领航百城巡展走进黄河之都 公司视频课程

img

Guang

关注
7月24日,紫光旗下新华三集团(以下简称新华三)“融绘数字未来——2018新华三数字领航百城巡展”兰州站正式召开。作为本年度最为重要的市场活动之一,新华三将通过“数字领航百城巡展”向业界集中展示涵盖数字化基础设施、数字化平台和基于生态合作的数字化应用等多个层级的数字化解决方案全体系领先能力,并全面分享如何通过数字化创新推动百行百业的数字化转型。

2018新华三百城巡展兰州站-大会现场

百城百业,数字经济比重不断提升

数字技术与传统产业的结合,正在创造着全新的未来和无限可能。据毕马威的研究数据显示,2017年,数字经济在中国GDP中的占比达到36%,实现29万亿人民币的贡献。到2030年时,这一比例将会达到77%,超过153万亿人民币的GDP贡献将来自于数字经济。新华三认为,数字化转型是众多企业实现更好的生存与发展必须经历的过程,并提出数字化技术战略——“应用驱动,融绘数字未来”。

为探索新形势下城市经济数字化转型新路径,新华三已连续两年发布《中国城市数字经济指数白皮书》。今年3月发布的白皮书(总体信息详情可参见白皮书全文http://deindex.h3c.com/)调查评估显示,兰州市在数字经济评估中位于新兴者地位,处于数字经济的起步阶段。兰州市数字化发展潜力巨大,在数据基础方面构建了坚实的应用基础,并基于此一方面积极推动大数据等新兴产业的发展,另一方面借助良好的数据优势,带动传统产业不断进行数字化转型。

以创新和领先的数字化解决方案推动产业变革

作为数字化解决方案领导者,新华三将凭借在行业洞察、完备连接、全栈式云平台、高效数据引擎、主动安全、AI(人工智能)构建、数字生态汇聚和全生命周期专业服务等方面的领先能力,不断推动各领域产业升级与转型,促进数字经济的快速增长和可持续发展。

2018新华三百城巡展兰州站-展区

在本次巡展活动中,新华三向业界展示了其数字化技术的重要创新成果,包括新华三首创的物联时代准入管理系统鹰视2.0、集成全新人工智能引擎的网络管理平台iMC³、应用驱动网络解决方案ADNet 3.0、400G数据中心方案、ComwareV9网络操作系统、绿洲物联网平台2.0、安全云、云墙、大数据AI引擎、CloudOS3.0云管理平台、InfoSight先知智能运维系统等,以及架构咨询和新型智慧城市技术服务解决方案。目前,新华三可以为用户提供包括计算、存储、网络、安全的IT基础设施和云计算、大数据、物联网等创新平台,以及全生命周期咨询与服务在内的全方位数字化产品和解决方案,是国内极少数具有如此广泛和完备能力的领先企业之一。

新华三一直服务于兰州各行各业信息化建设,在政务、智慧城市、教育、交通、企业市场等领域拥有丰富的实践经验,打造了一大批数字化转型标杆。例如,在政务领域,甘肃省国税局采用新华三3PAR存储和高端光纤交换机完成内部数据库业务整合,提升数据利用效率;甘肃省检察院采用新华三全系列交换机、路由器、大数据产品及一体化运维平台,推动检察工作迈向科学化、数字化新阶段;在智慧城市建设方面,新华三为张掖市智慧城市建设提供从硬件到软件整体云平台方案,承载多项政务系统,加速服务交付速度;在教育领域,新华三为西北师范大学提供了完整的智慧校园整体解决方案,从计算、存储、网络、管理平台等多维度提升校园信息化改造进展,同时帮助甘肃能源化工职业学院构建了高效的虚拟化云课堂,创造人才培育新模式;在交通领域,新华三通过创新的网络解决方案和云平台建设赋能兰州中川国际机场基础通信网络建设,满足千余万人次旅客的网络需求;在企业网建设领域,新华三采用下一代园区网ADCampus解决方案,满足酒泉钢铁(集团)有限责任公司办公网络需求,并实现网络的自动化和运维可视化。

新华三集团副总裁、政府事业部总经理张浩

新华三集团副总裁、政府事业部总经理张浩表示,数字化转型的根本目的,是借助数字世界里强大的可连接、可汇聚、可推演的能力,进行产品、业务和商业模式创新,以更低的成本、更高的效率,为客户提供更好的服务和体验。作为数字化解决方案领导者,新华三将以全面领先的技术积累和丰富的行业实践经验,赋予兰州数字化转型升级的能力,助力兰州数字经济的快速发展。

关于新华三

新华三集团(简称新华三)作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型最可信赖的合作伙伴。新华三拥有H3C品牌的全系列服务器、存储、网络、安全、超融合系统和IT管理系统等产品,能够提供大互联、大安全、云计算、大数据和IT咨询与服务在内的全方位数字化解决方案和产品的研发、生产、咨询、销售及服务。同时,新华三也是HPE品牌的服务器、存储和技术服务的中国独家提供商。

华为云国内首发混合云灾备解决方案 护航企业云上业务无中断 企业视频课程

img

迈克尔

关注
7月24号,华为云中国行第三站落地北京,华为公司副总裁、华为云BU总裁郑叶来到会并发表致辞,华为云EI产品部总经理贾永利发表主题演讲,分享华为云目前整体进展以及AI时代下华为云EI的理念和思考,并发布国内首个完整的公有云容灾备份解决方案——华为云Multicloud混合云灾备解决方案。

华为云EI产品部总经理贾永利现场发布华为云Multicloud混合云灾备解决方案

多云时代下的业务高可用及数据高可靠挑战

灾备场景涵盖面广,方案复杂,传统数据中心容灾方案存在CAPEX、OPEX高昂、数据同步策略复杂、灾难恢复效果有限等问题。同时,容灾备份到单个公有云上,虽然能够解决上述问题,但企业依旧难以高枕无忧:单云级故障难以避免,国内外公有云“宕机”新闻屡见不鲜。企业有必要采用多云灾备策略,以保证业务连续性及关键数据可靠性。

Multicloud混合云灾备解决方案涵盖跨云备份、跨云容灾以及云上容灾三大场景,是国内首个完整的公有云容灾备份解决方案,为客户提供多云以及跨云的容灾备份能力,满足企业业务部署、数据保护和管理的综合策略,实现“多云备份,云上容灾”的多重基础保障,能够有效提高企业业务连续性,保障关键数据安全可靠。

十余年企业级容灾能力积累全面开放

作为企业级容灾的践行者,华为内部IT灾备建设已经历17个年头。现在华为内部带业务的容灾演练,单次切换涉及系统500多个,系统间集成关系复杂,切换系统的数据量达到十PB级,单系统数据量最大达到百PB级,整个切换过程,无任何数据丢失和不一致问题,业务切换至容灾中心运行期间,近2500人正常使用ERP等相关系统,新增2000多行收入数据,近13万人次访问企业BG官网

华为HyperMetro数据同步技术,脱胎于华为IT容灾实践,经历了8年的研发迭代,基于其的数据中心容灾方案已经服务超过3000家大中企业私有云,如今华为将技术能力开放到公有云上,业界首家提供云上跨AZ的存储容灾服务。此外,华为云联合国内外灾备领域专业合作伙伴如Veritas、英方等,构建完整的多云灾备生态,覆盖客户的具体细分场景。

创新服务助力企业平滑灾备上云

企业传统重载业务如OracleRAC数据库、SAPERP系统等上云,面临性能要求苛刻、改造困难等挑战。华为云基于对大企业IT系统的理解,创新地提供以下服务:

l裸金属服务器:专属的云上物理服务器,可满足OracleRAC技术服务条款,并为这类关键应用提供卓越的计算性能以及数据安全,且可灵活申请,按需使用,实现关键应用平滑灾备上云;

l专属云:通过云服务提供商最高可获得的等保4级认证,提供计算、存储资源池以及网络、管控多级隔离的综合解决方案,租户独享专属资源池,满足金融、政府、大型企业关键应用系统、敏感数据灾备上云的性能、合规性要求。

企业级服务的创新,使得企业重载业务能够以最小IT改造成本容灾备份上云,帮助客户真正实现云上数据安全无忧。

企业之所以选择使用云服务,不仅是成本诉求,更多的是出于公司业务的发展战略考虑。而不管采用何种方案,保证业务系统的安全性和稳定性是不变的前提。华为云凭借十余年华为自身大规模灾备实践经验,以及深耕企业级容灾市场的技术积累,结合基于大企业云化需求的持续创新,协同合作伙伴覆盖客户细分场景,为企业提供值得信赖的完整公有云灾备解决方案。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP