我的编程空间,编程开发者的网络收藏夹
学习永远不晚

技术分享 | MySQL 多源复制场景分析

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

技术分享 | MySQL 多源复制场景分析

作者:杨涛涛

今天有客户问起:如何汇总多台 MySQL 数据到一台上? 我回答:可以尝试下 MySQL 的多源复制。

我们知道 MySQL 单主一从,单主多从,或者级联的主从架构我们都见的很多了。但是多主一从这种使用场景比较少,比如图1:

这种架构一般用在以下三类场景

1.备份多台 Server 的数据到一台

如果按照数据切分方向来讲,那就是垂直切分。 比如图 2, 业务 A、B、C、D 是之前拆分好的业务,现在需要把这些拆分好的业务汇总起来备份,那这种需求也很适用于多源复制架构。

实现方法我大概描述下:业务 A、B、C、D 分别位于4台 Server,每台 Server 分别有一个数据库来隔离前端的业务数据,那这样,在从库就能把四台业务的数据全部汇总起来,而不需要做额外的操作。 那没有多源复制之前,要实现这类需求,只能在汇总机器上搭建多个 MySQL 实例,那这样势必会涉及到跨库关联的问题,不但性能急剧下降,管理多个实例也没有单台来的容易。

##2.用来聚合前端多个 Server 的分片数据。

同样,按照数据切分方向来讲,属于水平切分。 比如图3,按照年份拆分好的数据,要做一个汇总数据展现, 那这种架构也非常合适。

实现方法稍微复杂些:比如所有 Server 共享同一数据库和表,一般为了开发极端透明,前端配置有分库分表的中间件,比如爱可生的 DBLE。

##3. 汇总并合并多个 Server 的数据

第三类和第一种场景类似。不一样的是不仅仅是数据需要汇总到目标端,还得合并这些数据,这就比第一种来的相对复杂些。 比如图4,那这样的需求,是不是也适合多源复制呢? 答案是YES。

那具体怎么做呢?

我举个例子,比如下面一张表 A,字段分表为 ID(主键)、F1、F2、F3... 、F100。那按照这样的分法,前端 4 台 Server 的表分别为:

  • A1(ID,F1,F2,...,F25)

  • A2(ID,F26,F27,...,F50)

  • A3(ID,F51,F52,...,F75)

  • A4(ID,F76,F77,...,F100)

那上面几张表的数据如果要合并到表 A,可以建立一个 Event,定时的来给表 A 里插入数据。涉及到的核心 SQL 为:

insert ignore into A select A1.ID,F1,F2,...,F100 
from A1 natural join A2 natural join A3 natural join A4;

那我们发现这个和第一个类似,只不过,所有的表最后到复制到了相同的数据库里。

总结下,我上面简单说明了MySQL多源复制的三种常用使用场景,相信对大家有所帮助。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

技术分享 | MySQL 多源复制场景分析

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

技术分享 | MySQL 多源复制场景分析

作者:杨涛涛今天有客户问起:如何汇总多台 MySQL 数据到一台上? 我回答:可以尝试下 MySQL 的多源复制。我们知道 MySQL 单主一从,单主多从,或者级联的主从架构我们都见的很多了。但是多主一从这种使用场景比较少,比如图1:这种架构一般用在以下三类场
技术分享 | MySQL 多源复制场景分析
2019-10-02

Docker容器实现MySQL多源复制场景分析

目录前言⛳️ 1.多源复制简介⛳️ 2.多源复制使用场景⛳️ 3.多源复制部署✨ 3.1 下载镜像✨ 3.3 创建容器,安装mysql✨ 3.4 参数文件配置✨ 3.5 登陆MySQL⛳️ 4.主从配置✨ 4.1 主库配置✨ 4.2 从库配
2022-06-13

技术分享 | MySQL 组复制数据一致性管理解析

MySQL 组复制数据的一致性管理解析来源于客户的一个问题。客户对组复制的数据一致性保障机制非常困惑,一直不太明白,其实就是对组复制参数 group_replication_consistency 几个值的含义不太清楚。这里我举了几个简单的例子,来说明这个参数
技术分享 | MySQL 组复制数据一致性管理解析
2016-04-30

技术分享 | MySQL TEXT 字段的限制

一、背景说明项目中有一个数据交换的场景,由于使用了很多个 varchar(1000)、varchar(2000),导致在创建表的时候,MySQL 提示:ERROR 1118 (42000): Row size too large (> 8126). Chang
技术分享 | MySQL TEXT 字段的限制
2020-11-24

PHP 防抖和防重复提交技术的使用场景分析

在开发网站或应用程序时,防抖和防重复提交是常见的需求,它们旨在提升用户体验和保证数据的安全。本文将分析这两种技术的使用场景,并提供具体的PHP代码示例。一、防抖技术的使用场景分析防抖技术的目标是限制用户频繁触发某个操作的次数,通常用于以下情
2023-10-21

PHP循环查询子分类技巧分享与应用场景解析

PHP循环查询子分类是开发中常用的技巧之一,能够帮助我们灵活地处理具有层级结构的分类数据,如商品分类、新闻分类等。在实际开发中,我们经常会遇到需要查询某个分类及其所有子分类的情况,本文将分享PHP循环查询子分类的技巧,并分析其应用场景。同时
PHP循环查询子分类技巧分享与应用场景解析
2024-03-06

集群技术与负载均衡技术:MySQL主从复制的差异和适用场景

集群技术与负载均衡技术:MySQL主从复制的差异和适用场景引言:近年来,随着互联网应用的快速发展,数据库的高可用性和性能成为了企业关注的焦点。为了满足大规模访问和高并发的需求,数据库集群技术和负载均衡技术应运而生。MySQL作为最受欢迎的开
2023-10-22

Android热修复技术原理之资源热修复技术的示例分析

小编给大家分享一下Android热修复技术原理之资源热修复技术的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、普遍的实现方式目前市面上的很多资源热修复
2023-06-20

PHP应用场景下实现MySQL读写分离的技术指南

PHP是一种广泛应用于Web开发的服务器端脚本语言,而MySQL则是一种流行的关系型数据库管理系统。在PHP应用场景下,为了提高系统的性能和可靠性,通常会采用MySQL读写分离的技术来分担数据库服务器的压力,提高系统的响应速度。本文将介绍在
PHP应用场景下实现MySQL读写分离的技术指南
2024-03-05

【华为云技术分享】数据库开发:MySQL Seconds_Behind_Master简要分析

【摘要】对于mysql主备实例,seconds_behind_master是衡量master与slave之间延时的一个重要参数。通过在slave上执行"show slave status;"可以获取seconds_behind_master的值。 Secon
【华为云技术分享】数据库开发:MySQL Seconds_Behind_Master简要分析
2017-10-30

技术分享 | MySQL 字段长度限制的计算方法

一、MySQL 限制回顾之前在《MySQL Text 字段的限制》一文中讲过了关于 MySQL 在 Server 层和 InnoDB 层的限制,但是限制的算法没有详细展开,这里进行补充说明,先回顾一下 MySQL 的两个限制1.MySQL Server 层 的
技术分享 | MySQL 字段长度限制的计算方法
2015-02-24

技术分享 | 快速处理 MySQL 重复数据小妙招

正好最近在帮客户从达梦数据库迁移到 MySQL。我也来简单说说重复数据的处理。存放在数据库中的数据分为三种:一种是经过严格意义过滤出来的数据。比如程序端过滤数据源、数据库端在表字段上设置 check 标记过滤数据源、设置触发器过滤、调用存储过程过滤等等;另一种
技术分享 | 快速处理 MySQL 重复数据小妙招
2021-05-16

PostgreSQL技术分享公开课(第3期):流复制高级配置

内容概述:   1、PG流复制异步配置   2、PG主备切换   3、PG流复制同步配置   4、一主二备同步和异步配置方式   5、PG流复制日常维护   地址:https://ke.qq.com/course/1466978   时间:   课件:视频及课
PostgreSQL技术分享公开课(第3期):流复制高级配置
2022-01-10

MySQL复制的概述、安装、故障、技巧、工具(火丁分享)

首先主服务器把数据变化记录到主日志,然后从服务器通过I/O线程读取主服务器上的主日志,并且把它写入到从服务器的中继日志中,接着SQL线程读取中继日志,并且在从服务器上重放,从而实现MySQL复制。
2022-11-21

从容应对高并发:MySQL主从复制作为集群技术的性能优势分析

从容应对高并发:MySQL主从复制作为集群技术的性能优势分析随着互联网的快速发展,用户对于网站和应用的访问量呈现出爆炸性增长的趋势。在这种高并发的情况下,如何保证系统的稳定性和性能成为了每个开发人员和系统管理员的重要任务。在数据库中,MyS
2023-10-22

编程热搜

目录