MongoDB备份和恢复方案

3. 可用于生产环境的备份与恢复脚本

脚本仓库

4. 备份命令

a) 单DB两种方法
    (1)mongodump -h localhost:27017 -d db[不能多个] -o /data_dump -u xxx -p xxx --authenticationDatabase ‘admin’
    (2)mongodump -h localhost:27017 -d db -o ./data_dump -u xxx -p xxx(具体这个DB的用户)
b) 全量+oplog增量
    mongodump -h localhost:27017 -o ./data_dump -u xxx -p xxx --oplog --quiet(隐藏日志)

恢复命令

a) 单DB两种方法
    (1)mongorestore -h localhost:27017 -d db --dir ./data_dump /db -u xxx -p xxx --authenticationDatabase "admin"
    (2)mongorestore -h localhost:27017 -d db --dir ./data_dump/db -u xxx -p xxx
b) 恢复+oplog回放
     mongorestore -h localhost:27017./data_dump -u xxx -p xxx –oplogReplay --quiet(隐藏日志)

恢复到指定时间点

导出主节点上的 oplog：
mongodump --host 127.0.0.1 -d local -c oplog.rs
可以通过—query 参数添加时间范围

使用 bsondump 查看导出的 oplog，找到需要截止的时间点：
例如：{ "ts" : Timestamp(1577355175, 1), "t" : NumberLong(23), "h" : NumberLong(0), "v" : 2, "op" : "c","ns" : "foo.$cmd", "ui" : UUID("767b3a2b-a1cd-4db8-a74a-71ce9711f368"), "o2" : { "numRecords" : 1 },"wall" : ISODate("2019-12-26T10:12:55.436Z"), "o" : { "drop" : "employees" } }

恢复到指定时间点
利用--oplogLimit指定恢复到这条记录之前
mongorestore -h 127.0.0.1 --oplogLimit "1577355175:1" --oplogFile dump/local/oplog.rs <空文件夹>

RPO(RecoveryPointObjective复原点目标，指能容忍的最大数据丢失量)

Secondary延迟备份

设置延时节点
cfg = rs.conf()
cfg.members[1].priority=0
cfg.members[1].hidden=true
cfg.members[1].slaveDelay=86400
rs.reconfig(cfg)

Secondary延迟恢复

从Secondary恢复数据的方法：
1、删除Primary中的testts库
2、mongodump -h localhost:30011 -d testts -o ~/data_dump0401 -u xxx -p xxx --authenticationDatabase "admin"
3、mongorestore -h localhost:27017 -d testts --dir ./data_dump0401/testts -u xxx -p xxx --authenticationDatabase "admin"

部署脚本

目前全量备份采用一周一次，增量备份采用一个小时一次，通过crontab来制定计划任务
[mongod@xxx toolbox]$ crontab –e
0 */1 * * * /bin/sh $HOME/toolbox/mongodb_backup_incremental.sh > /dev/null 2>&1
0 1 * * 7 /bin/sh $HOME/toolbox/mongodb_backup_all.sh > /dev/null 2>&1

常见错误

1）

Failed: restore error: error applying oplog: applyOps: not authorized on admin to execute command { applyOps: [ { ts: Timestamp(1584405919, 1), h: 6249566449687893566, v: 2, op: "u", ns: "config.system.sessions", o: { $v: 1, $set: { lastUse: new Date(1584405919215) } }, o2: { _id: { id: UUID("d3558387-2eca-4d12-81ff-519b45c29af6"), uid: BinData(0, D98E3AF3AA9DE1E389AD41192C5A890F20F87082C7F958241BCACB06E71051FC) } } } ], $db: "admin" }
解决方法（在admin数据库中执行）：
db.adminCommand({ createRole: "restoreEx", privileges: [ { resource: { db: "config", collection: "system.sessions" }, actions: [ "find", "update", "insert", "remove" ] }, ],  roles: [ { role: "restore", db: "admin" } ],  writeConcern: { w: "majority" , wtimeout: 5000 }})
db.createUser({user:“restore”, pwd:”pwd“, roles:[{role:”restoreEx“, db:”admin“}, {role:"readWriteAnyDatabase", db:"admin"}]})

2）Path与—dir不能同时用

3）

默认都加上-u xxx -p "xxx" --authenticationDatabase "admin"这个鉴权吧

4）

db.tttss.insert({bbb:”test delay”}, { writeConcern: { w:”majority(要用这个，不然用w:3就要等包括延时节点在内的3个节点都要返回的)", wtimeout: 5000 } })