我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Datax离线数据抽取(MySQL--Oracle)

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Datax离线数据抽取(MySQL--Oracle)

Datax下载地址:https://github.com/alibaba/DataX

Datax MySQL读:   https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md

Datax MySQL写:   https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md


1.下载安装Datax软件(必须安装jdk 1.8版本以上)  

[root@localhost ~]# tar xvf jdk-8u65-linux-x64.tar.gz  

[root@localhost ~]# mv jdk1.8.0_151  /usr/local/jdk1.8.0_151

[root@localhost ~]# vim /etc/profile

export PATH=$PATH:/usr/local/jdk1.8.0_151/bin

[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf

/usr/local/jdk1.8.0_151/lib

[root@localhost ~]# tar xvf  datax.tar.gz

[root@localhost ~]# cd datax/job/


2.编辑配置文件(首先用kettle将表结构同步过去)

[root@localhost job]# vim job1.json 


{
    "job": {
        "setting": {
            "speed": {
                "channel": 5
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "wangying",
                        "password": "wangying",
                        "column": ["*"],
                        "connection": [
                           {
                              "table": ["t3"],
                              "jdbcUrl": ["jdbc:mysql://172.16.8.93:3306/db_stktag"]
                           }
                        ]
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "upcenter",
                        "password": "upcenter",
                        "column": ["*"],
                        "connection": [
                            {
                               "jdbcUrl": "jdbc:oracle:thin:@192.168.7.7:1521:upqc",
                               "table": ["t3"]
                            }
                        ]
                      }
                    }
                }
        ]
    }
}

[root@localhost job]# 


3.数据抽取

[root@localhost job]# python2 /root/datax/bin/datax.py job1.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !

Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2019-01-29 16:10:00.236 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl

2019-01-29 16:10:00.246 [main] INFO  Engine - the machine info  => 

osInfo:Oracle Corporation 1.8 25.151-b12

jvmInfo:Linux amd64 3.10.0-123.el7.x86_64

cpu num:8

totalPhysicalMemory:-0.00G

freePhysicalMemory:-0.00G

maxFileDescriptorCount:-1

currentOpenFileDescriptorCount:-1

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2019-01-29 15:10:04.908 [job-0] INFO  JobContainer - 

2019-01-29 16:10:14.407 [job-0] INFO  JobContainer - 

任务启动时刻                    : 2019-01-29 16:10:00

任务结束时刻                    : 2019-01-29 16:10:14

任务总计耗时                    :                 14s

任务平均流量                    :          176.48KB/s

记录写入速度                    :           4047rec/s

读出记录总数                    :               40475

读写失败总数                    :                   0

[root@localhost job]#


免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Datax离线数据抽取(MySQL--Oracle)

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

mysql随机抽取数据

-- 慢SELECT * FROM table_name ORDER BY rand() LIMIT 5;-- 较慢SELECT * FROM `table`WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id
mysql随机抽取数据
2020-09-09

Oracle实现某表随机抽取数据(随机性抽取)

目录oracle实现某表随机抽取数据1. 使用随机数2. 使用sample函数3. 结合上述两种方式(随机数编程网+sample函数)Orapythoncle数据库:随机查询100条数据方法一方法二总结Oracle实现某表随机抽取数据目前
Oracle实现某表随机抽取数据(随机性抽取)
2024-08-13

如何进行MySQL和Oracle的元数据抽取分析

如何进行MySQL和Oracle的元数据抽取分析,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。前言最近接到个任务是抽取mysql和Oracle的元数据,大致就是
2023-06-22

oracle实时数据抽取的方法是什么

Oracle实时数据抽取的方法有以下几种:1. 使用Oracle的LogMiner工具:LogMiner是Oracle数据库的一个工具,可以解析数据库的归档日志和在线日志,从中提取出更新操作的详细信息,可以用于实时数据抽取。2. 使用Ora
2023-08-29

mysql查线上数据注意数据库的隔离级别

目录1. 读未提交 (Read Uncommitted)2. 读提交 (Read Committed)3. 可重复读 (Repeatable Read)4. 串行化 (Serializable)数据库的隔离级别定义了一个事务可能对其他并发事
mysql查线上数据注意数据库的隔离级别
2024-10-15

Oracle数据库ODBC连接与数据备份的离线与在线备份策略

Oracle数据库ODBC连接是一种用于连接Oracle数据库的标准接口,允许用户通过ODBC驱动程序连接到Oracle数据库并执行数据库操作。在进行数据备份时,可以根据需要选择离线备份或在线备份策略。离线备份策略:离线备份是在数据库不处
Oracle数据库ODBC连接与数据备份的离线与在线备份策略
2024-07-16

数据分析师怎么应对数据库取数后的离线分析

本篇内容主要讲解“数据分析师怎么应对数据库取数后的离线分析”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“数据分析师怎么应对数据库取数后的离线分析”吧!因为缺乏好用工具的支持,数据分析人员的离线分
2023-06-03

Kettle 抽取Oracle数据到HDFS发生串行如何解决

在做离线数仓开发的时候,很多时候我们都是将业务数据库数据抽取到数据仓库的ODS层,在抽取过程中,有时候会发现数据条数变多,这种情况下很有可能是数据库内容中有特殊字符导致,常见的导致数据串行的特殊字符有制表符(chr(9)),换行符(chr(10))和回车符(c
Kettle  抽取Oracle数据到HDFS发生串行如何解决
2016-01-08

编程热搜

目录