将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决
需求:将mongodb 数据指定字段导出,然后再指定字段导入mysql 表中
直接上图吧,
最后 会将遇到几个问题及解决方案贴出,以便遇到类似问题可以迅速解决(期间所用命令具体用法不在本文详解之内)
将mongodb 数据指定字段导出,所用命令Mongoexport ,具体查阅官方文档;
导出指定二级字段 Mongodb
/opt/mongodb/bin/mongoexport --host yourip --port yourport -d app_form -c application_data --csv --out export2.csv --fields applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr
2. 在mysql 机器上 rsync 传输过来,rysnc 用法就不讲了,带过
rsync -chavzP --stats yourusername@yourip:/home/mongodata/export.csv /data/mysql/
3.导入mysql,这里有两种情况,一种是导入全新的表,另一种则是导入已存在的表,但是需要指定该表具体字段
新表:
LOAD DATA INFILE '/data/mysql/export2.csv' INTO TABLE temp_test CHARACTER SET utf8 FIELDS TERMINATED BY ',' ENCLOSED BY '"';
老表指定字段:
LOAD DATA INFILE '/data/mysql/export2.csv' INTO TABLE temp_test2 CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' (name,idcard,tellnumber, address);
结果验证:
导入成功;
4.疑难杂症1:mongo 导出时二级字段的正确导出方法
4.疑难杂症2:mysql导入时 ERROR 1366 (HY000): Incorrect string value: '\xF0\xA5\x8C\x93\xE5\x85...' for column 'address' at row 45293 解决 方法
这个问题很难解决,一般是认为utf8mb4 所导致,具体原因看下面,需要修改表的默认字符集,并以指定utf8mb4 导入;
ALTER TABLE temp_test2 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 修改即可1
4.疑难杂症3:mongo 导入时ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解决方法,sql_mode 的问题,需要修改;
5.其他问题,比如主键重复,字段大小不满足要求,等等小问题自行琢磨解决
最后正常的结果显示:
百度内搜到的帖子能解决此类问题的很少,并且都不是完整的实例,这里贴出完整的整个操作实例,希望对大家有帮助;
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341