首页 >

高并发场景下,如何实现数据库主从同步? – 网络|

matlab怎么打分数,网络安全AWD怎么比赛,差分对在ads怎么加高并发场景下,如何实现数据库主从同步? - 网络|高并发场景下,如何实现数据库主从同步

大家知道,普通的replication,也即mysql的异步复制,依靠mysql二进制日志也即binarylog进行数据复制。比如两台机器,一台主机也即master,另外一台是从机,也即slave。

1.正常的复制为:事务一(t1)写入binlogbuffer;dumper线程通知slave有新的事务t1;binlogbuffer进行checkpoint;slave的io线程接收到t1并写入到自己的的relaylog;slave的sql线程写入到本地数据库。这时,master和slave都能看到这条新的事务,即使master挂了,slave可以提升为新的master。2.异常的复制为:事务一(t1)写入binlogbuffer;dumper线程通知slave有新的事务t1;binlogbuffer进行checkpoint;slave因为网络不稳定,一直没有收到t1;master挂掉,slave提升为新的master,t1丢失。

3.很大的问题是:主机和从机事务更新的不同步,就算是没有网络或者其他系统的异常,当业务并发上来时,slave因为要顺序执行master批量事务,导致很大的延迟。

为了弥补以上几种场景的不足,mysql从5.5开始推出了半同步。

即在master的dumper线程通知slave后,增加了一个ack,即是否成功收到t1的标志码。也就是dumper线程除了发送t1到slave,还承担了接收slave的ack工作。如果出现异常,没有收到ack,那么将自动降级为普通的复制,直到异常修复。

大家可以看到半同步带来的新问题:1.如果异常发生,会降级为普通的复制。那么从机出现数据不一致的几率会减少,并不是完全消失。2.主机dumper线程承担的工作变多了,这样显然会降低整个数据库的性能。3.在MySQL5.5和5.6使用after_commit的模式下,即如果slave没有收到事务,也就是还没有写入到relaylog之前,网络出现异常或者不稳定,此时刚好master挂了,系统切换到从机,两边的数据就会出现不一致。在此情况下,slave会少一个事务的数据。

随着MySQL5.7版本的发布,半同步复制技术升级为全新的Loss-lessSemi-SynchronousReplication架构,其成熟度、数据一致性与执行效率得到显著的提升。

MySQL5.7对数据复制效率进行了改进1主从一致性加强支持在事务commit前等待ACK

新版本的semisync增加了rpl_semi_sync_master_wait_point参数来控制半同步模式下主库在返回给会话事务成功之前提交事务的方式。

该参数有两个值:

  • AFTER_COMMIT(5.6默认值)

  • master将每个事务写入binlog,传递到slave刷新到磁盘(relaylog),同时主库提交事务。master等待slave反馈收到relaylog,只有收到ACK后master才将commitOK结果反馈给客户端。

  • AFTER_SYNC(5.7默认值,但5.6中无此模式)

  • master将每个事务写入binlog,传递到slave刷新到磁盘(relaylog)。master等待slave反馈接收到relaylog的ack之后,再提交事务并且返回commitOK结果给客户端。即使主库crash,所有在主库上已经提交的事务都能保证已经同步到slave的relaylog中。

    因此5.7引入了after_sync模式,带来的主要收益是解决after_commit导致的mastercrash主从间数据不一致问题,因此在引入after_sync模式后,所有提交的数据已经都被复制,故障切换时数据一致性将得到提升。

  • 2性能提升支持发送binlog和接受ack的异步化

  • 旧版本的semisync受限于dumpthread,原因是dumpthread承担了两份不同且又十分频繁的任务:传送binlog给slave,还需要等待slave反馈信息,而且这两个任务是串行的,dumpthread必须等待slave返回之后才会传送下一个events事务。dumpthread已然成为整个半同步提高性能的瓶颈。在高并发业务场景下,这样的机制会影响数据库整体的TPS.

  • 图:WithoutACKreceivingthread

  • 为了解决上述问题,在5.7版本的semisync框架中,独立出一个ackcollectorthread,专门用于接收slave的反馈信息。这样master上有两个线程独立工作,可以同时发送binlog到slave,和接收slave的反馈。

  • 图:WithACKreceivingthread3性能提升控制主库接收slave写事务成功反馈数量

  • MySQL5.7新增了rpl_semi_sync_master_wait_slave_count参数,可以用来控制主库接受多少个slave写事务成功反馈,给高可用架构切换提供了灵活性。

  • 如图所示,当count值为2时,master需等待两个slave的ack

  • 4性能提升

  • Binlog互斥锁改进

  • 旧版本半同步复制在主提交binlog的写会话和dumpthread读binlog的操作都会对binlog添加互斥锁,导致binlog文件的读写是串行化的,存在并发度的问题。

  • MySQL5.7对binloglock进行了以下两方面优化

  • 1.移除了dumpthread对binlog的互斥锁

    2.加入了安全边际保证binlog的读安全

  • 5性能提升组提交

  • 5.7引入了新的变量slave-parallel-type,其可以配置的值有:

  • DATABASE(5.7之前默认值),基于库的并行复制方式;LOGICAL_CLOCK(5.7新增值),基于组提交的并行复制方式;

  • MySQL5.6版本也支持所谓的并行复制,但是其并行只是基于DATABASE的,也就是基于库的。如果用户的MySQL数据库实例中存在多个DATABASE,对于从机复制的速度的确可以有比较大的帮助,如果用户实例仅有一个库,那么就无法实现并行回放,甚至性能会比原来的单线程更差。

  • MySQL5.7中增加了一种新的并行模式:为同时进入COMMIT阶段的事务分配相同的序列号,这些拥有相同序列号的事务在备库是可以并发执行的。

    MySQL5.7真正实现的并行复制,这其中最为主要的原因就是slave服务器的回放与主机是一致的即master服务器上是怎么并行执行的slave上就怎样进行并行回放。不再有库的并行复制限制,对于二进制日志格式也无特殊的要求(基于库的并行复制也没有要求)。

  • 因此下面的序列中可以并发的序列为(其中前面一个数字为last_committed,后面一个数字为sequence_number):

  • trx11…..2trx21………….3trx31…………………….4trx42……………………….5trx53…………………………..6trx63………………………………7trx76………………………………..8

  • 备库并行规则:当分发一个事务时,其last_committed序列号比当前正在执行的事务的最小sequence_number要小时,则允许执行。

  • 因此,

  • a)trx1执行,last_commit<2的可并发,trx2,trx3可继续分发执行

    b)trx1执行完成后,last_commit<3的可以执行,trx4可分发

    c)trx2执行完成后,last_commit<4的可以执行,trx5,trx6可分发

    d)trx3、trx4、trx5完成后,last_commit<7的可以执行,trx7可分发

  • 综上所述

  • 大家认为MySQL5.7版对Loss-Less半同步复制技术的优化,使得其成熟度和执行效率都得到了质的提高。大家建议在使用MySQL5.7作为生产环境的部署时,可以使用半同步技术作为高可用与读写分离方案的数据复制方案。


高并发场景下,如何实现数据库主从同步? - 网络|
  • 安卓逐渐走向闭源,为何我国手机公司却仍不开发自己的系统呢? - 网络|
  • 安卓逐渐走向闭源,为何我国手机公司却仍不开发自己的系统呢? - 网络| | 安卓逐渐走向闭源,为何我国手机公司却仍不开发自己的系统呢? - 网络| ...

    高并发场景下,如何实现数据库主从同步? - 网络|
  • 96个前端JS部分基础面试题(含答案)
  • 96个前端JS部分基础面试题(含答案) | 96个前端JS部分基础面试题(含答案) ...

    高并发场景下,如何实现数据库主从同步? - 网络|
  • 视频加载失败,请刷新页面重试错误码44? - 网络|
  • 视频加载失败,请刷新页面重试错误码44? - 网络| | 视频加载失败,请刷新页面重试错误码44? - 网络| ...