怎么用C++实现数据库删除大表

2023-06-03 09:37

短信预约 -IT技能 免费直播动态提醒

本篇内容介绍了“怎么用C++实现数据库删除大表”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

背景：数据库的IO压力非常大，如果在线上删除大表，对IO以及业务会造成很大的抖动；作为一名DBA的通用做法是，建立.frm 以及.ibd的硬连接，然后在drop table tablename；但是表文件依然存在于该机器上，如果直接用rm删除，会造成IO的until达到100%

问题：那么如何解决删除文件时，如果避免IO达到100%呢？

解决方案：通过ftruncate逐渐清除文件，下面本人提供自己写的slowrm来删除文件，测试io使用率10-20%之间，删除速度1个小时100多G（这里只是一个粗略的版本，各位看官可以自己修改下）

#include <iostream>
#include <sys/stat.h>
#include <fcntl.h>
#include <dirent.h>
#include <string>
#include <unistd.h>
//判读输入是否合法
int fileInputLegal(const char *pfile=nullptr);

int main(int argc,char *argv[]){
//利用stat获取文件的大小
//调用open打开文件获取文件描述符
//调用ftrucate缩减文件的大小，直到0为止
int fd = -1;

//这个参数经过调整过的

    int deleteBytes   = 1024700;
   //这个目的是获取文件长度
   struct stat buf;
   off_t fileSize = 0;
   if( argc !=2 ){
       std::cout<<"你传输的参数不正确"<<std::endl;
       return -1;

   }
   const char *filename=argv[1];

   if(fileInputLegal(filename) < 0){
       return -1;

   }

   if((fd = open(filename,O_RDWR)) < 0 ){
       std::cout<<"打开文件"<<filename<<"失败"<<std::endl;
       return -1;

   }
   if(lstat(filename,&buf) <0){
       std::cout<<"获取文件信息(大小失败)"<<std::endl;
       return -1;   }
   fileSize = buf.st_size;
   while(fileSize > deleteBytes ){
       fileSize = fileSize - deleteBytes;
       if(ftruncate(fd,fileSize) < 0){
           std::cout<<"删除文件出错，请重新执行"<<std::endl;
           return -2;       }

//这里特别要注意，设置的时间越短，ftruncate调用越频繁，设置不当，适得其反

        usleep(20000);   }
   if(ftruncate(fd,0) < 0){
       std::cout<<"删除文件出错，请重新执行"<<std::endl;
       return -2;

   }
   close(fd);
   unlink(filename);
   return 0;}

int fileInputLegal(const char *pfile){
   if(nullptr==pfile){
       return -1;

   }

   if(access(pfile,R_OK|W_OK)<0){
       std::cout<<"对文件没有读写权限"<<std::endl;
       return -1;   }

   if(opendir(pfile) != NULL){
       std::cout<<"是一个目录"<<std::endl;
       return -1;

   }

   return 0;

}