9/1/2018,#,9/1/2018,#,腾讯云数据库,CDB,技,术介绍,技术创新，变革未来,目录,云数据库概览,CD,B,之存储篇,CD,B,之复制篇,CD,B,之引擎篇,云数据库概览,-,什,么,是,云,数,据,库,N,I,S,T,关于云计算服务的,基,本特,征,定义,随需应变自助服务,随时随地用任何网络设,备,访问,多人共享资源池,快速重新部署灵活度,可被监控与量测的服务,云计算,满足云计算特征的数据库服务,数据库内核,+,云化功能,云数据库概览,-,腾讯,的,云,数,据,库,SQL,NoSQL,C,D,B,云数据库概览,-,C,D,B,内,核,技,术,栈,接入集群,实例集群,T,X,S,Q,L,T,X,S,Q,L,T,X,S,Q,L,LogBus复制通道,存,储,集群,路由,安全,HA,数据库引擎,多副本复制,数据存储,C,D,B,之存储篇,-,三,次,存,储,革命,S,A,S,-,R,a,i,d,SSD-,Cluster1.0,SSD,SSD-,Cluster2.0,阶段1,阶段2,阶段3,阶段4,根据存储介质特性，进行数据库,存,储技术,设,计,数据库存储的本质：面向块的存储,C,D,B,之存储篇,-,第,一,次,革,命,SAS,Raid,存储的主要矛盾,基于,S,A,S,阵列,的,数,据,库,存,储,性能问题：随机IO性,能,不高,扩展性问题：单机最大,存,储容,量,受限,成本问题：价格贝佐斯,定,律带,给,成,本,的,挑战,SSD,Raid,存储可行性,选择,SATA,SSD：2011年,PCI-E,SSD,刚刚兴起,性能问题：随机IO性,能,有较,大,提升,扩展性问题：依旧存在,成本问题：单位存储成,本,更高,SSD,使用的问题：写,放,大、,写,性能,下,降,解决问题的思路,基于,SSD,的存储系统,有,吗？,分布式,KV,分布式,KV,解决了性能、扩,展,性,、,SSD,使,用问题,分布式,KV,和数据库存储的,联,系,：block,块,block,的数据,模,型,(Disk,LBA,Value)(Key,Value),文件读写,文件系统,S,A,S,阵列,磁盘块读写,CDB,之存储篇,-,第,一,次,革,命,(Cont.1),SSD,Cluster1.0存储,虚拟块设备,+IO,网络,化,块读,写,转化,为,KV,操作,适配,SSD,特性的,KV,存储,系,统,MySQL,层优化：,千,兆网,络,瓶,颈,&,去double,write,文件系统,&,块设备调优,成本问题：按需分配、,动,态伸,缩,、,文件读写,文件系统,磁盘块读写,虚拟块设备,网络,K,V,读写,SSD-KV,基于,SSD,Cluster1.0,的,数据,库,存储,运营中的故事,存储集群的蝴蝶效应,C,D,B,之存储篇,-,第,二,次,革,命,SSD,Cluster1.0的主要,矛,盾,基于,PCI-E,SSD的数据库存储,开发商的变化：IO密,集,型核,心,应用,上,云,存储介质的变化,：PCI-E,SSD,量大价低,性能不够，性价比没优势,PCI-E,SSD,Cluster存储可行性,IO性能：相比本地，,网,络和,分,布式,带,来额,外,开销,扩展性：单机最大本地,存,储,6T,SSD,使用的问题,：SSD,FTL,的进一步,优,化,成本问题：相比本地，,优,势有,，,但已,不,是主,要,矛盾,运维成本：相比本地，,更,高,解决问题的思路,选择本地,PCI-E,SSD,选择新的技术制高点：,数,据库,引,擎本,身,的性,能,和稳,定,性,文件读写,文件系统,磁盘块读写,C,D,B,之存储篇,-,第,三,次,革,命,PCI-E,SSD,的主要矛盾,开发商的变化：金融、,政,企等,数,据库,上,云,DB,要求：兼容性、,RTO,、,RPO,、,扩,展性,四,个都,不,能少,扩展性问题：容量无法,和,SANNAS,专,有,存,储,相比,中间件,sharding,解决了扩展,性,问题,，,但兼,容,性有,问,题,解决问题的思路,主要目标,：100TB,以,下,，SQL,完全,兼,容的,传,统行,业,DB,服务,SDP：Shared,Disk,Parallel,数据库节点和存储分离,，,数据,库,节点,有,主从,之,分,尽量减少IO次数：主,数,据库,节,点才,能,写存,储,集群，,从,节点,不,会写,C,D,B,之复制篇,-,三,种,复,制,模式,异步复制,半同步复制,强一致复制,阶段1,阶段2,阶段3,复制结合机房部署，灵活选择，,达,到最有,效,的容灾,效,果,C,D,B,之复制篇,-,半,同,步,的,一,些,问题,MySQL半同步的主要问题,无法做到,强一致,：自动,降,级、,灵,活的,多,zone,部,署,下的,一,致性,要,求,半同步下,性能,下降多,MySQL,Native,Semi,Sync,Replication,C,D,B,之复制篇,-,性,能,优化,性能关键因子,单个事务耗时：用户层,面,的响,应,时间,，,每个,事,务耗,时,多,少,ms,系统整体吞吐：服务层,面,的处,理,能力,，,一,台,机,器,每,秒,能处,理,事务,数,(TPS,),单个事务耗时,T,total,=T,sql,+T,engine,+T,replicate,T,sql,和,T,engine,在同步复制下不是,关,键,瓶颈,T,replicate,=T,binlog,网络传输,+,T,slave,落地binlog，,T,binlog网络传输,取决于,RTT,值,测试数据：,全cache下,MySQL,异,步,单事,务,耗,时,3.37ms；,半同步单事务耗时,8.33ms，,测,试环,境,RTT,值,2.6ms，T,slave,落地binlog,为,1.9ms,测试机器顺序,512B,的,write+fsync,延时,0.13ms，T,slave,落地binlog,优化空,间,大,系统整体吞吐,吞吐,=,并发数,/,单个事务,耗,时,并发数取决于各种资源,的,利用,率,，,如,master,的事,务,线程,、,master,的,binlog,发送,/,响应 线程、,slave,的,binlog,接收,线,程等,利,用,率,情况,CDB,之复制篇,-,性,能,优,化,(Cont.1),MySQL,slave,的,IO,线程接收,binlog,耗,时,原因,锁冲突：IO/SQL线,程,间的,锁,冲突,，,如元,数,据文,件,锁,小IO消耗：IO线程离,散,小磁,盘,IO,消,耗过,多,的,IOPS,串行化：IO线程接收,和,落盘,操,作,串行,构建独立于MySQL的快速复,制,通,道,logbus,基于,semisync,协,议，,模,拟,slave,向,master,建立主,从,关系,，,同,步,binlog,避免原生相关耗时瓶颈,外置logbus，减少,对,MySQL,的侵,入,，方,便,各种,分,支兼容,数据库版本,同步类型,TPS,单事务耗时,(ms),同步,RTT,性能基准对比,MySQL5.7,异步,33193,3.82,2.60,100%,MySQL5.7,半同步,15395,8.32,2.60,46.30%,MySQL5.7,logbus,22169,5.92,2.60,66.79%,CDB,之复制篇,-,性,能,优,化,(Cont.2),优化,MySQL,5.6的,binlog,发送、响应,binlog,同步阻塞,传,输模,型,：master,binlog,dump,线程发送某个,事,务,binlog,后，等待,slave,回包,后,，再,发,送下,一,个事,务,binlog,。
理,论,上最大,QPS=1000/RTT(ms),一,般,情况,同,城跨,园,区之,间,RTT,为,3ms,左,右,，QPS,峰值,约330,方案：,master,binlog,发送和接收,异,步化,，dump,线,程负,责,发送,，ack,线程,负责处理回包，通知事,务,线程,继,续提交,ACK,Tx1,master,slave,master,slave,T,x,2,T,x,1,T,x,3,SND,Tx1,SND,Tx2,ACK,Tx2,A,C,K,1,A,C,K,2,A,C,K,3,CDB,之引擎篇,-TXSQL,面向运维优化,面向,b,u,g,优化,面向性能优化,深度定制,阶段1,阶段2,阶段3,阶段4,自研技术,：20+,社区红利,：30+,CDB,之引擎篇,-TXSQL,特,性,概,览,。
