我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Kettle+MongoDB 数据同步到MySQL

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Kettle+MongoDB 数据同步到MySQL

                          Kettle+MongoDB 数据同步到MySQL


1、前言:

MongoDB中的date类型以UTC(Coordinated Universal Time)存储,isodate类型,就等于GMT(格林尼治标准时)时间。而北京所处的是+8区,所以mongo shell会将当前的GMT+0800时间减去8,存储成GMT时间。


2、抽取作业概述

Kettle+MongoDB 数据同步到MySQL

3、组件选择:

Kettle+MongoDB 数据同步到MySQL

4、增量处理:

Kettle+MongoDB 数据同步到MySQL

Kettle+MongoDB 数据同步到MySQL

在MongoDB中查询如下是正确的:

> db.xamessages.find({created_at:{$gte:ISODate("2016-08-16 18:33:36")},yy_id:48}).sort({created_at:1}).limit(1)

但是在kettle mongodb中查询则会报错。

解决办法:

{"$query":{"created_at":{"$gte":{"$date":"2016-11-03T00:00:00Z"}}}}


kettle维基百科:http://wiki.pentaho.com/display/BAD/Create+a+Parameterized+Report+with+MongoDB

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Kettle+MongoDB 数据同步到MySQL

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

使用Kettle定时从数据库A同步数据到数据库B

一、需求背景 由于项目场景原因,需要将A库(MySQL)中的表a、表b、表c中的数据定时T+1 增量的同步到B库(MySQL)。这里说明一下,不是数据库的主从备份,就是普通的数据同步。经过技术调研,发现Kettle挺合适的,原因如下: Ke
2023-08-24

MySQL数据实时同步到MongoDB的实践分享

目录mysql 到 MongoDB 实时数据同步实操分享第一步:配置MySQL 连python接第android二步:配置 MongoDB 连接第三步:选择同步模式-全量/增量/全+增第四步:进行数据校验MySQL 到 MongoDB 实时
MySQL数据实时同步到MongoDB的实践分享
2024-01-29

如何进行Kettle的数据同步

这篇文章给大家介绍如何进行Kettle的数据同步,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。之前的业务需求是实现数据的增量同步,具体描述为:新增数据插入,变化数据更新,我使用输出中的插入更新即可。现在业务提出新的需求
2023-06-04

Mysql数据怎么同步到Greenplum

本篇内容主要讲解“Mysql数据怎么同步到Greenplum”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Mysql数据怎么同步到Greenplum”吧!一、资源信息这边就不赘述二、配置相关数据
2023-06-01

MySQL数据怎么同步到Redis缓存

这篇“MySQL数据怎么同步到Redis缓存”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“MySQL数据怎么同步到Redis
2023-07-05

kettle增量同步抽取数据的方法是什么

kettle增量同步抽取数据的方法通常是通过以下步骤实现:1. 确定增量字段:首先需要确定用于判断数据是否已经同步的增量字段。这个字段记录了每条数据的更新时间戳或者唯一标识,用于区分新数据和已同步数据。2. 抽取增量数据:使用kettle的
2023-09-20

无缝迁移!数亿MySQL数据七步走到MongoDB

在好大夫在线内部,S3系统负责各业务方操作日志的集中存储、查询和管理。目前,该系统日均查询量数千万次,插入量数十万次。随着日志量的不断累积,主表已经达到数十亿,单表占用磁盘空间400G+。

基于Flink CDC实时同步数据(MySQL到MySQL)

一、环境 jdk8Flink 1.16.1(部署在远程服务器:192.168.137.99)Flink CDC 2.3.0MySQL 8.0(安装在本地:192.168.3.31) (安装部署过程略) 二、准备 准备三个数据库:flink_
2023-08-16

MySQL数据同步到Doris的四种方式

MySQL数据同步到Doris有四种方式:Binlog同步:高吞吐、低延迟,但需安装Connector,可能影响MySQL性能。CDC同步:更低延迟,支持更多MySQL版本,但需要MySQL支持CDC。SQL联邦查询:无需数据复制,查询性能高,但仅支持读取。离线数据导入:简单易用,适用于大规模数据传输,但延迟较高,需手动操作。选择方式取决于一致性要求、延迟要求、MySQL版本和支持、性能影响和运营成本。
MySQL数据同步到Doris的四种方式
2024-04-02

详解 canal 同步 MySQL 增量数据到 ES

canal 是一个非常有趣的开源项目,很多公司使用 canal 构建数据传输服务( Data Transmission Service ,简称 DTS ) 。推荐大家阅读这个开源项目,你可以从中学习到网络编程、多线程模型、高性能队列 Dis

编程热搜

目录