我的编程空间,编程开发者的网络收藏夹
学习永远不晚

datax,同步数据,mysql sqlserver 双向

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

datax,同步数据,mysql sqlserver 双向

mysql sqlserver 双向同步

在使用sqlserver连接服务器时遇到坑(不细说),所以使用一下的替代方案。


参考:
mysql实时同步到mssql的解决方案
https://×××w.cnblogs.com/liweis/p/4749961.html

DataX 阿里巴巴集团的离线数据同步工具/平台(各种异构数据源之间高效的数据同步)。
主页 https://github.com/alibaba/DataX
介绍 https://github.com/alibaba/DataX/blob/master/introduction.md
Support Data Channels(点读或写会有具体说明) https://github.com/alibaba/DataX
Quick Start https://github.com/alibaba/DataX/blob/master/userGuid.md


在2边的数据库中都做一下配置:

  1. 新建一张与同步表结构一样的表,在表内增加一列OpType、一列CTime(默认值为当前时间)、一列操作状态status(0未操作,1已经操作)
  2. 使用不同的触发器对OpType列写入相应的值(I表示插入记录,U表示修改记录,D表示删除记录)
    PS:DataX不能执行物理删除所有把逻辑放在存储过程里

使用DataX同步,在where里使用CTime来区分需要同步的内容,然后在存储过程里可以完成逻辑


DataX使用笔记
如果表上有触发器会随着写入一起执行,这里的执行意思是如果有错误也可能是触发器里的,但是错误信息不会提示错误发生在那个步骤。
经过一段时间的开发,发现还是需要自己写很多代码而且不能物理删除,所以选择不再继续下去了,找了一个开源软件挺不错的叫SymmetricDS,目前正在开发中等好了上新笔记

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

datax,同步数据,mysql sqlserver 双向

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

DataX数据同步

为什么找个对象这么难呢? 哭哭。 单身找对象,呜呜呜。 DataX 一.一 什么是 DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、
2023-08-25

DataX安装使用实现MySQL到MySQL数据同步

DataX安装使用实现MySQL到MySQL数据同步1.前置条件:1.1jdk安装jdk安装前往官网,这里我安装jdk-8u261解压sudo mkdir -p /opt/moudlesudo tar -zxvf jdk-8u261-linux-x64.tar
DataX安装使用实现MySQL到MySQL数据同步
2018-05-28

怎样利用python实现mysql数据库向sqlserver的同步

这期内容当中小编将会给大家带来有关怎样利用python实现mysql数据库向sqlserver的同步,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。 话不多说,直接上代码。#!/usr/bin/pyt
2023-06-02

怎么使用DataX同步MaxCompute数据到TableStore

这篇文章给大家介绍怎么使用DataX同步MaxCompute数据到TableStore,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。概述现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用M
2023-06-05

Spring Cloud微服务架构Sentinel数据双向同步

这篇文章主要为大家介绍了Spring Cloud微服务架构Sentinel数据双向同步示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2022-11-13

数据同步利器DataX简介及如何使用

DataX是一款开源大数据同步工具,支持多种数据源和同步方式,具有高效、可靠、可扩展等特点。使用时,可通过datax.json模板创建同步任务,包括源端、目标端和同步规则配置。运行任务后,可使用命令监控执行情况。文章还提供了解决数据丢失、提高同步效率和定制扩展插件等常见问题的建议。
数据同步利器DataX简介及如何使用
2024-04-02

双群晖nas数据备份同步

目录 一、概述二、远程nas2.1 设置2.2 问题 三、本地nas3.1 配置3.2 监控 一、概述 目的:将远程nas指定文件夹同步到本地nas指定文件夹前提: nas:远程与本地均为群晖nas网络:两者都在同一
2023-08-20

编程热搜

目录