中企动力 > 头条 > 功能性

网站性能检测评分

注:本网站页面html检测工具扫描网站中存在的基本问题,仅供参考。

功能性

破解世界性技术难题! GTS让分布式事务简单高效 营销视频课程

img

Idonia

关注
近日,2017云栖大会·深圳峰会如期举行,多项阿里云新产品对外发布。在企业级互联网架构分会场,来自阿里中间件(Aliware)的技术专家及合作伙伴,为现场参会嘉宾带来最新的传统IT架构到企业级互联网架构跨越式升级、实现互联网转型的产品及解决方案。其中高级技术专家姜宇在分享中带来的Aliware新产品—全局事务服务(GlobalTransactionService,简称GTS),在分布式事务处理上带来的高性能和技术创新令到场参会的各路技术专家眼前一亮。

Aliware新成员—全局事务服务GTS技术分享现场

分布式事务背景

OLTP领域中很多业务场景都会面临事务一致性的需求,传统业务系统常以单体应用形式存在,只需借助特有数据访问技术和框架,结合关系型数据库自带的事务管理机制来实现事务一致性的要求。而目前大型互联网应用和平台往往是由一系列分布式系统构建而成,平台和技术架构也是流派纷呈。

尤其是微服务架构盛行的今天,一个看似简单的功能,内部可能需要调用多个“服务”并操作多个数据库或分片来实现,单一技术手段和解决方案已无法满足这些复杂应用场景。因此,分布式系统架构中分布式事务是一个绕不过去的挑战。什么是分布式事务?简单的说,就是一次大操作由不同小操作组成,这些小操作分布在不同服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。

本质上来说,分布式事务就是为了保证不同数据库或消息系统的数据一致性。

分布式事务三大难题:一致性、高性能和易用性

分布式系统的事务一致性本身是一个技术难题,没有一种简单完美的方案能够应对所有场景,很难兼顾事务一致性,高性能与易用性。三者缺一,则适用场景大大受限,实用价值不高。

首先是一致性:要求在各种异常情况下保证数据是强一致的。目前最常见的一致性解决方案是最终一致性方案,通常是结合消息中间件实现,在互联网企业中广泛使用。最终一致性实现方案比较复杂,开发、运维成本高,并且与强一致相比,业务上是受很多限制的。

其次是高性能:目前基于XA协议的两阶段提交是最常见的分布式事务解决方案,但XA类产品的典型不足是性能低下,这对于互联网大并发需求下的多数企业是无法接受的。国外具有几十年历史和技术沉淀的基于XA模型的商用分布式事务产品,在相同软硬件条件下,开启分布式事务后吞吐经常有数量级的下降。

第三是易用性:为了满足一致性和高性能要求,出现了一些特定场景下的分布式事务方案,但通常会限制用户用法,对业务侵入性强,无法做到简单易用,带来更多开发成本。

世界级应用场景,催生世界级分布式事务解决方案

早期的阿里巴巴集团随着业务高速发展,内部不断涌现各种典型的分布式事务需求,比如阿里内部广泛使用的TDDL分库分表所带来的分库间数据不一致问题,HSF服务化后所带来的服务链路上数据不一致问题等。在这个过程中,各业务技术团队利用现有中间件技术手段实现分布式事务处理,但这些手段都较为复杂,工作量大,对应用侵入严重,有些适用场景还有限制。

2014年5月开始,阿里中间件(Aliware)内部命名为TXC的分布式事务中间件开始研发,同年10月1.0版本发布,分布式事务功能已经具备,但性能还有局限,只适合于吞吐量较小的场景;2015年12月,TXC2.0版本发布,相比1.0版本性能提升10倍以上,在阿里内部多条业务线得到部署。

通过部署TXC,应用只需极少的代码改造和配置,即可享受分布式事务带来的便利。TXC作为阿里内部为解决分布式数据强一致性问题而研发的分布式事务中间件,彻底解决了分布式事务数据一致性的问题,简单易用,先后在淘宝,菜鸟,淘票票和村淘等多个业务的核心系统上得到部署和验证。

顺应云时代潮流,GTS应运而生

从2016年年中开始,在阿里内部一直接受锤炼的分布式事务中间件TXC在2.0版本后,随着阿里中间件上云热潮,开始通过专有云输出,并得到了市场极大认可,适用场景得到进一步拓展,全面涵盖电商、物流、金融、零售、政企、游戏、文娱等领域。2017年2月,TXC2.0通过阿里云对外公测,外部改名为全局事务服务(GlobalTransactionService,简称GTS)。

GTS总体架构图

在整体架构方面,GTS由三个组件组成:客户端(GTS-Client),资源管理器(RM),事务协调器(GTS-Server)。客户端与事务协调器间,资源管理器与事务协调器间都是通过GTS分布式事务协议进行通信。客户端负责界定事务边界,开启/提交/回滚全局事务,资源管理器负责管理资源,支持的资源包括:DRDS,Oracle,MySQL,RDS,PostgreSQL,H2,MQ,后续计划根据实际业务需求支持更多类型资源。事务协调器,也就是GTS服务器,是分布式事务处理的大脑,负责协调整个事务过程。GTS事务通过RPC框架和消息中间件进行事务传递,把整个业务调用链路或者消息链路串成一个分布式事务,极大简化应用开发。

在高可用方面,GTS支持同城容灾与两地三中心容灾,可保证各种异常情况下的数据一致。在易用性方面,GTS对业务无侵入,真正做到业务与事务分离,开发者可以集中精力于业务本身。在技术创新方面,GTS也走在了行业前沿。项目负责人阿里高级技术专家姜宇(花名于皋)拥有13项分布式事务的核心技术专利,研发团队的技术专家张松树也有3篇专利。通过大量的专利技术,精妙的算法,与精巧的分布式事务私有协议,GTS取得了超强的性能。

另外,在部分严苛的行业应用场景,比如金融用户的资管项目分布式事务场景下,GTS也经历了严格的测试,按照用户要求顺利完成功能性、稳定性和性能测试。下图是一个典型性能测试场景数据,从实测数据可以看出,开启GTS(TXC)分布式事务后性能下降不明显。目前GTS已经在资金业务上有实际应用,线上大量真实数据验证了GTS的高效可靠。

GTS典型性能测试场景数据

性能优异,业务场景广泛

作为新一代企业级分布式事务服务产品,全局事务服务GTS兼顾了事务一致性,高性能与易用性。在满足事务ACID的前提下,普通配置的单服务器就可以达到15000TPS以上的超强性能(两个小时内完成1亿多笔业务),3台8核16G内存虚机组成的服务器集群可以支撑1万TPS以上的分布式事务,与同类产品相比,性能优势明显。另外简单易用对业务无侵入,为广大企业大幅降低开发成本,业务场景非常广泛:

1、跨多分库的分布式数据库事务场景:关系型数据库普遍支持事务,能够满足事务内的SQL要么全部成功、要么全部失败。但客户从单机数据库往分布式数据库迁移的情况下,原有的一个事务往往会被拆分为多个分库上的事务。由于网络的不可靠性,容易出现部分分库上成功,部分分库上失败的情况。GTS结合DRDS可彻底解决了这一问题。

2、跨多数据库的事务场景:复杂的业务系统经常会使用多个数据库,甚至多种类型的数据库,比如企业中Oracle,MySQL和其他关系型数据库并存的情况时有发生。业务同时操作多个数据库的情况下,一旦发生先提交的事务成功、后提交的事务失败,就很难解决。GTS支持各种常见关系型数据库,并提供多数据库间的事务保证。

3、跨数据库系统、消息系统的事务场景:消息系统被广泛地用于系统间解耦,一般先执行一段业务逻辑,执行成功会向消息系统发送一条消息,用于通知或触发下游业务。这个场景下,如果业务逻辑执行成功、消息发送失败,则业务不完整;如果先发送消息,但执行业务逻辑失败,同样存在问题。GTS提供了针对消息系统以及常见关系型数据库的操作入口,保证数据库操作和发送消息要么同时成功、要么同时失败。

4、跨服务的事务场景:随着业务复杂度提升,大多企业会对业务进行服务化改造。可能存在服务一操作MySQL和DRDS,服务二操作Oracle,要求两个服务操作要么同时成功、要么同时失败,否则会造成业务数据的不一致。GTS可以很方便地进行跨多个服务的分布式事务。

依托阿里中间件(Aliware),打造世界一流企业级互联网架构平台

据GTS项目负责人姜宇介绍,“GTS作为一款高性能、高可靠、接入简单的分布式事务中间件产品,可与DRDS、RDS、Oracle、MySQL、PostgreSQL、H2等数据源,EDAS、Dubbo及多种私有RPC框架,MQ消息队列等中间件产品配合使用,可轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。策略丰富,易用性和性能兼顾,将真正完善阿里云中间件产品线。”

GTS(TXC)的研发依托于阿里中间件(Aliware)团队,中间件技术部是阿里巴巴集团生态系统的技术基石,为集团各大业务群提供可靠、高效、易扩展的技术基础服务;并在此基础上打造世界一流的中间件产品、高可用架构基础设施和企业级互联网架构平台,为全球企业和客户提供服务。

更多AliwareGTS产品服务和技术细节,请访问官网

相关新闻

2016-04-19

2016-06-13

2016-10-24

2016-11-04

2017-12-29

在日本,酱油是如何实现消费升级的? 行业视频课程

img

Richard

关注

日本有句俗语叫“和食始于酱油、终于酱油”,意思是说在吃日本料理时,从始至终都离不开酱油。《孤独美食家》中,五郎大叔也曾一脸销魂的默默自语:“不矫揉造作的酱油味,让人安心。果然日本人的原味最终还是回到这里。”中国与日本同属东亚儒家文化圈,虽然存在着一些不同的宗教政治哲学文明,但在生活方式上面却有很大的共通之处,饮食文化便是其中之一。

在上一篇酱油消费升级的话题中,提到了一些日本酱油行业的发展情况,中国和日本同为酱油消耗大国,在消费升级发生的原因、阶段等方面,中国与日本有很多的相似之处,日本酱油虽受中国影响,但其特点却已经异化到足以自成一家。

日本酱油发展史

早在日本镰仓时代,一位叫『觉心』的和尚,从中国带回来径山寺味噌的制作方法,并流传起来。而存放味噌的桶底,积留下来的液体特别地鲜美,这个液体就是日本酱油的原型。这是日本酱油起源的说法之一。

从此酱油在日本流传开来,而真正的酱油批量生产,是在江沪时代。江户初期,从关西运来的"溜酱油"占压倒优势。随着政治、经济中心转移至江户,江户人口快速增长,关东的浓口酱油需求量逐年上升。明治维新后,以大规模工业化生产为契机,关东酱油压倒关西,酿造业主要集中在野田、铫子、小豆岛一带,成为特定产地。日本酱油行业采用生物工程技术,重视品质管理,厂家之间竞争激烈,通过合并,重组,做大做强,日本酱油行业得到迅速发展。

以颜色由浅至深来排序,日本的酱油种类依次为:白酱油——淡口酱油——甘口酱油——浓口酱油——再仕入酱油——溜酱油,其中浓口酱油占据了80%以上的市场份额,其次是淡口酱油,大约占总量的15%,至于其它几种酱油种类,加起来市场份额也不到5%

上世纪30-80年代,日本酱油行业的发展经历了三个阶段:

第一阶段为1947年之前,由于战争导致实体经济萧条,酱油制造业受到冲击,至1947年出货量跌至34万千升的低位,人均消费量也下降至4.3升。

第二阶段为1948-1956年,战后日本酱油行业迅速复苏,至1956年出货量首次突破百万千升,人均消费量达到11升以上。

第三阶段为1957-1980年,伴随着日本经济增长率的放缓,日本酱油行业遭遇天花板,至70年代中后期出货量才增长至120万千升以上的水平,而这主要也是受益于日本的人口红利,人均消费量并无明显上升。

日本酱油升级之路

当经济进入中速阶段,消费升级才真正开始。向健康化与功能化的方向消费升级,为日本酱油行业打开了新的增长空间。

收入增长推动日本酱油健康化

日本人均GDP在上世纪70年代经历了两次高速增长(增速高于30%),从1970年2000美元的水平快速上升到1980年9300美元的水平。

根据马斯洛需求层次理论,在收入提升后消费者最底层的生理需求增长开始放缓,食物等基础支出在消费支出中的占比将逐渐减少。消费者转而积极寻求更高层次的如健康方面的需求。其中典型的表现之一就是消费者开始注重饮食健康,食品向健康的方向进行消费升级。调味品方面,“低盐健康”的概念逐渐普及,日本家庭的食盐消费量在1978-1991年间明显下滑,从5100g降至3000g水平。随后,这一概念被应用于酱油制造领域。

此后日本酱油还经历了三次典型的消费升级,分别为丸大豆酱油(90年前后)、有机酱油(98年前后)、鲜榨酱油(09年前后)等品类的流行。

第一次消费升级——丸大豆酱油

90年代以前,由于日本国内大豆供给不足,进口大豆价格较高。为节约成本,日本酱油制造中大量使用脱脂大豆作为原料。相比之下,全使用大豆制造的丸大豆酱油在品质与健康上更佳。

1989-1990年间,日本酱油制造中大豆用量占比从2%提升至10%,使用大豆作为原料的丸大豆酱油开始普及。丸大豆酱油的产量在此期间迎来爆发式增长,从不到2万KL上升到接近6万KL,并在之后保持上升的趋势,至2008年一度达到10万KL的最高产量。

第二次消费升级——有机酱油

1996年日本国内的有机种植热潮开始,随后向加工食品方向延伸。2001年日本正式施行有机认证制度,由于有机产品的认证门槛高,产量的波动幅度较大,也较快达到饱和。有机酱油的认证产量从02年的1600吨快速增长至06年6700吨的峰值,随后稳定在6000吨左右的水平。

根据日本有机农业研究会的调查,受访者中购买有机酱油的比例为8.3%,而未来想要购买的人数占比为17.2%,即从需求端估计,有机酱油还有一倍以上的增长空间。

第三次消费升级——鲜榨酱油和酿造酱油

从2011年开始,使用密封容器的鲜榨酱油开始在日本家庭消费者中迅速普及。相对于其他类型的酱油,鲜榨酱油从技术出发在营养与口感上都保持最新鲜的标准,同时对容器也提出了密闭的高要求。

根据IntageSCI对零售终端的调查, 2015年鲜榨酱油的销售额是2011年的3.6倍。与之前的健康酱油相同,鲜榨酱油也主要针对健康要求较高的家庭消费者,2011年以来其在家庭用市场中的销售额占比从6%上升至23%,已成为家庭消费的主流细分品类。

随着日本人均收入水平的提升,定位高端的健康酱油在日本家庭消费者中拥有庞大的消费基础。2015年日本酱油出货量78万千升,根据日刊经济通信社,其中约30%在家庭领域消费。而以有机、丸大豆等为代表的健康酱油产量至少为9.3万千升,健康酱油占据了家庭消费市场至少40%的份额。

饮食西化与简便化推动日本酱油功能化

战后日本与西方世界的联系更加紧密,日本人的饮食习惯也逐渐西化。日本家庭中大米、海鲜等传统食品的消费量逐渐减少,而奶酪、红肉等西式食品的消费量上升。酱油作为日本传统的调味品必须应对西式食品的流行而做出改变。

同时,日本人的饮食更加简便化。日本家庭中单人家庭的占比从不到5%上升到接近30%,多人家庭中就业人员的比例也呈现上升趋势,全职家庭主妇的数量减少,越来越少的人有时间准备以酱油为佐料的烹饪过程复杂的传统日式料理。同时,日本家庭方便食品的支出快速上升也突显了日本饮食习惯的简便化趋势。

功能性酱油的出现迎合了这种趋势。日本的功能性酱油品类众多,其中最大的两个品类为酱类和汤类调味汁。酱类主要针对红肉等西式食品的烹饪,而汤类则简化了多种传统日式料理的烹饪过程。

相对于普通酱油,功能性酱油加入了价格较高的辅料或者对工艺进行改进,价格可以高出普通酱油50%-200%。由于迎合了日本饮食习惯的变化,功能性酱油价格虽高但仍受到消费者的亲睐。

1987年至2007年间,日本家庭的酱油支出从3200日元下降至2200日元,在调味品支出中的占比从10%下降至6%;而汤类和酱类功能性酱油的支出从2300日元上升至3800日元,在调味品中的占比从7%上升至11%。

对标日本的启示

中国已具备酱油消费升级的条件

我国人均GDP从2006年的2080美元增长到2011年的5570美元,五年内实现翻番,相当于日本1976年的水平;同时,2015年城镇居民恩格尔系数首次跌破30%,与日本1980年的水平类似。对比日本,随着我国人均收入的提升,消费者对健康的关注度不断上升,对价格的敏感程度下降,为酱油的消费升级创造了良好的市场环境。

另一方面,饮食简便化助力功能性酱油发展。据相关统计数据,中国拥有16%独居城市人口和14%单身人口,我国女性就业率高达73%,高于西方发达国家及邻近的韩国和印度。随着大量女性外出务工,越来越少人有时间准备烹饪环节较复杂的传统菜肴。围绕着独居人口的消费场景,国人饮食方面的随之发生了一系列有意思的转变,“一人食”渐成趋势,这在外卖、速食、半成品供应甚至家电领域均有体现。

消费者希望简化甚至省去繁琐的烹饪过程。功能性酱油在普通酱油的基础上加工制成,依靠专业化的定位简化烹饪过程,符合饮食简便化的趋势。

健康化与功能性酱油的发展空间

目前,我国酱油的消费升级趋势已初步显现。一方面,人均收入的增加以及健康诉求的提升促使“零添加”、“有机”等健康健康酱油出现;另一方面,饮食的简便化以及我国丰富的餐饮文化促进了专业化的功能性酱油的发展。

健康酱油的想象空间

“零添加”酱油是采用高盐稀态发酵工艺的酿造酱油,且无添加剂,弥补了国产酱油相对日本酱油的短板。“有机”酱油还要求原料在种植过程中不使用化学合成的农药和化肥,确保不受外源污染,需经有机食品认证机构认证。

“零添加”和“有机”酱油规模尚小,未来拓展空间巨大。目前零添加酱油的品牌主要为四家上市公司,零添加收入约3.8亿元。按12000元/吨的出厂均价估算,四家上市公司的的零添加酱油产量在3万吨左右。

另外,零添加酱油生产门槛低于有机,价格相对便宜,渗透空间更大,天花板远高于有机酱油(日本大部分的酱油均符合“零添加”的概念)。

功能性酱油向高端发展

国产酱油呈现多元化趋势,靠拢日本成熟市场。我国功能性酱油的技术门槛较低,起步相对健康酱油更早。目前市场上功能性酱油品类多,主要定位于用途和人群。在细分用途上,有凉拌、红烧、蒸鱼酱油等产品;在细分人群上,有儿童酱油、铁强化酱油等。

功能性酱油高端化是趋势,家庭厨房酱油品类向3-4种发展。相对于日本功能性酱油较高的价格,我国的功能性酱油目前价格较低,通常比普通酱油价格高出不到50%。随着定位用途的酱油向头道、不添加防腐剂的方向发展,定位人群的产品与有机等概念结合,功能性高端酱油还有上升空间。

最后,对比日本酱油市场,我国现在已具备人均GDP增加、健康诉求提升、饮食简便化等外部条件,因此可以复制日本的消费升级之路。

特别声明:本文为合作媒体授权DoNews专栏转载,文章版权归原作者及原出处所有。文章系作者个人观点,不代表DoNews专栏的立场,转载请联系原作者及原出处获取授权。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP