我的编程空间,编程开发者的网络收藏夹
学习永远不晚

分布式 | DBLE 新全局表检查实现浅析

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

分布式 | DBLE 新全局表检查实现浅析

分布式 | DBLE 新全局表检查实现浅析

作者:孙正方 爱可生 DBLE 核心研发成员,拥有丰富的分布式数据库中间件开发、咨询以及调优经验,擅长数据库中间件问题排查和处理,对线上中间件部分排错有深入的实践与认知。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。


背景

在 dble 2.19.11.0 之前的版本中,继承于 Mycat 的实现,全局表检查是一个 server 级别的功能,并且通过在创建全局表的时候添加列 _dble_op_time 来进行实现。在实际使用中带来了许多棘手的问题。

  • 开关不便
  • 结果集处理不便
  • 数据导入处理不便

在 dble 2.19.11.0 中,考虑到生产中实际使用的场景和定义情况,按照以下的几点要求,对于全局表检查进行了重新的设计:

  • 检查开关在表格级别(只有部分表格需要检查)

  • 检查触发的具体时间需要能精确定义

  • 检查的方式要求可以自定义

  • 检查方式自定义要求足够足够简单明确

实现原理

根据以上提供的明确要点,dble 引入了 quartz 框架来进行定时任务的时间控制,并且在 schema.table 级别的标签上添加了以下的几个可选项:

  • globalCheck

  • cron

  • globalCheckClass

并且在加载过程中,将每一个 table 的全局表检查,作为一个独立的定时任务加载到 quartz 中去,之后便交由 quartz 进行触发和执行。

而至于每一个独立的定时任务,则可以和其他的 dble 中的自定义功能一样,由用户自定义以下几个方法:

  • getCountSQL (全局表检查 SQL 执行定义)

  • getFetchCols (全局表检查结果集列定义)

  • resultEquals (全局表检查结果对比方法)

  • failResponse (全局表检查失败反馈方法)

  • resultResponse (全局表检查结果反馈方法)

具体的执行逻辑和流程如下图所示:

简单的描述为以下步骤:

  • start/reload 的时候将表格所配置的定时任务加入到 quartz 中

  • quartz 触发定时任务

  • 实例化 AbstractConsistencyChecker 并执行

  • 根据方法 getCountSQL 确定需要执行的 SQL,并将 SQL 下发执行

  • 根据方法 getFetchCols 确定需要获取的 SQL 执行结果列

  • 根据方法 resultEquals 对于不同 MySQL 上的检查结果进行对比

  • 根据 failResponse 和 resultResponse 方法进行结果的反馈

全局表检查使用实例

当然,dble 内置了两种全局表检查的默认方法,并提供了对应的简称:

  • CHECKSUM

  • COUNT

顾名思义,以上的两种默认方法分别通过在不同的 MySQL 节点求取同名表的 checksum 值以及 count 的数量来进行比较不同 MySQL 节点上的数据的一致性。

具体则可以按照以下进行配置:


免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

分布式 | DBLE 新全局表检查实现浅析

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

分布式 | DBLE 新全局表检查实现浅析

作者:孙正方爱可生 DBLE 核心研发成员,拥有丰富的分布式数据库中间件开发、咨询以及调优经验,擅长数据库中间件问题排查和处理,对线上中间件部分排错有深入的实践与认知。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来
分布式 | DBLE 新全局表检查实现浅析
2022-03-26

编程热搜

目录