我的编程空间，编程开发者的网络收藏夹
学习永远不晚
位置：首页-资讯-人工智能

怎么在Linux系统中使用fdupes删除重复文件

2023-06-12 23:56

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号
获取短信验证
立即预约

请填写图片验证码后获取短信验证码

看不清楚，换张图片

免费获取短信验证码

怎么在Linux系统中使用fdupes删除重复文件

本篇文章为大家展示了怎么在Linux系统中使用fdupes删除重复文件，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

fdupes是啥东东？
fdupes是Linux下的一个工具，它由Adrian Lopez用C编程语言编写并基于MIT许可证发行，该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名，以及逐字节比较文件来识别重复内容，fdupes有各种选项，可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。

文件对比以下列顺序开始：

大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比

安装 fdupes 到 Linux
在基于Debian的系统上，如Ubuntu和Linux Mint，安装最新版fdupes，用下面的命令手到擒来。

代码如下:

$ sudo apt-get install fdupes


在基于CentOS/RHEL和Fedora的系统上，你需要开启epel仓库来安装fdupes包。

代码如下:

# yum install fdupes
# dnf install fdupes

    [在 Fedora 22 及其以后]
注意：自Fedora 22之后，默认的包管理器yum被dnf取代了。

fdupes命令如何使用
1、 作为演示的目的，让我们来在某个目录（比如 tecmint）下创建一些重复文件，命令如下：

代码如下:

$ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done


在执行以上命令后，让我们使用ls命令验证重复文件是否创建。

代码如下:

$ ls -l


total 60
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint10.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint11.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint12.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint13.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint14.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint15.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint1.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint2.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint3.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint4.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint5.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint6.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint7.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint8.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9.txt
上面的脚本创建了15个文件，名称分别为tecmint1.txt，tecmint2.txt……tecmint15.txt，并且每个文件的数据相同，如

"I Love Tecmint. Tecmint is a very nice community of Linux Users."
2、 现在在tecmint文件夹内搜索重复的文件。

$ fdupes /home/$USER/Desktop/tecmint
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
3、 使用-r选项在每个目录包括其子目录中递归搜索重复文件。

它会递归搜索所有文件和文件夹，花一点时间来扫描重复文件，时间的长短取决于文件和文件夹的数量。在此其间，终端中会显示全部过程，像下面这样。

代码如下:

$ fdupes -r /home


Progress [37780/54747] 69%
4、 使用-S选项来查看某个文件夹内找到的重复文件的大小。

代码如下:

$ fdupes -S /home/$USER/Desktop/tecmint


65 bytes each:                         
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
5、 你可以同时使用-S和-r选项来查看所有涉及到的目录和子目录中的重复文件的大小，如下：

代码如下:

$ fdupes -Sr /home/avi/Desktop/


65 bytes each:                         
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
107 bytes each:
/home/tecmint/Desktop/resume_files/r-csc.html
/home/tecmint/Desktop/resume_files/fc.html
6、 不同于在一个或所有文件夹内递归搜索，你可以选择按要求有选择性地在两个或三个文件夹内进行搜索。不必再提醒你了吧，如有需要，你可以使用-S和/或-r选项。

代码如下:

$ fdupes /home/avi/Desktop/ /home/avi/Templates/


7、 要删除重复文件，同时保留一个副本，你可以使用-d选项。使用该选项，你必须额外小心，否则最终结果可能会是文件/数据的丢失。郑重提醒，此操作不可恢复。

代码如下:

$ fdupes -d /home/$USER/Desktop/tecmint


[1] /home/tecmint/Desktop/tecmint/tecmint13.txt
[2] /home/tecmint/Desktop/tecmint/tecmint8.txt
[3] /home/tecmint/Desktop/tecmint/tecmint11.txt
[4] /home/tecmint/Desktop/tecmint/tecmint3.txt
[5] /home/tecmint/Desktop/tecmint/tecmint4.txt
[6] /home/tecmint/Desktop/tecmint/tecmint6.txt
[7] /home/tecmint/Desktop/tecmint/tecmint7.txt
[8] /home/tecmint/Desktop/tecmint/tecmint9.txt
[9] /home/tecmint/Desktop/tecmint/tecmint10.txt
[10] /home/tecmint/Desktop/tecmint/tecmint2.txt
[11] /home/tecmint/Desktop/tecmint/tecmint5.txt
[12] /home/tecmint/Desktop/tecmint/tecmint14.txt
[13] /home/tecmint/Desktop/tecmint/tecmint1.txt
[14] /home/tecmint/Desktop/tecmint/tecmint15.txt
[15] /home/tecmint/Desktop/tecmint/tecmint12.txt

代码如下:

Set 1 of 1, preserve files [1 - 15, all]:


你可能注意到了，所有重复的文件被列了出来，并给出删除提示，一个一个来，或者指定范围，或者一次性全部删除。你可以选择一个范围，就像下面这样，来删除指定范围内的文件。

代码如下:

Set 1 of 1, preserve files [1 - 15, all]: 2-15


   [-] /home/tecmint/Desktop/tecmint/tecmint13.txt
   [+] /home/tecmint/Desktop/tecmint/tecmint8.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint11.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint3.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint4.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint6.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint7.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint9.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint10.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint2.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint5.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint14.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint1.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint15.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint12.txt
8、 从安全角度出发，你可能想要打印fdupes的输出结果到文件中，然后检查文本文件来决定要删除什么文件。这可以降低意外删除文件的风险。你可以这么做：

代码如下:

$ fdupes -Sr /home > /home/fdupes.txt


注意：你应该替换/home为你想要的文件夹。同时，如果你想要递归搜索并打印大小，可以使用-r和-S选项。

你可以使用-f选项来忽略每个匹配集中的首个文件。

首先列出该目录中的文件。

代码如下:

$ ls -l /home/$USER/Desktop/tecmint


total 20
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (3rd copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (4th copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (another copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9.txt
然后，忽略掉每个匹配集中的首个文件。

代码如下:

$ fdupes -f /home/$USER/Desktop/tecmint


/home/tecmint/Desktop/tecmint9 (copy).txt
/home/tecmint/Desktop/tecmint9 (3rd copy).txt
/home/tecmint/Desktop/tecmint9 (another copy).txt
/home/tecmint/Desktop/tecmint9 (4th copy).txt
10、 检查已安装的fdupes版本。

代码如下:

$ fdupes --version


fdupes 1.51
11、 如果你需要关于fdupes的帮助，可以使用-h开关。

$ fdupes -h
Usage: fdupes [options] DIRECTORY...
 -r --recurse       for every directory given follow subdirectories
                    encountered within
 -R --recurse:      for each directory given after this option follow
                    subdirectories encountered within (note the ':' at
                    the end of the option, manpage for more details)
 -s --symlinks      follow symlinks
 -H --hardlinks     normally, when two or more files point to the same
                    disk area they are treated as non-duplicates; this
                    option will change this behavior
 -n --noempty       exclude zero-length files from consideration
 -A --nohidden      exclude hidden files from consideration
 -f --omitfirst     omit the first file in each set of matches
 -1 --sameline      list each set of matches on a single line
 -S --size          show size of duplicate files
 -m --summarize     summarize dupe information
 -q --quiet         hide progress indicator
 -d --delete        prompt user for files to preserve and delete all
                    others; important: under particular circumstances,
                    data may be lost when using this option together
                    with -s or --symlinks, or when specifying a
                    particular directory more than once; refer to the
                    fdupes documentation for additional information
 -N --noprompt      together with --delete, preserve the first file in
                    each set of duplicates and delete the rest without
                    prompting the user
 -v --version       display fdupes version
 -h --help          display this help message

上述内容就是怎么在Linux系统中使用fdupes删除重复文件，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注编程网行业资讯频道。

免责声明：

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

阅读原文内容投诉

怎么在Linux系统中使用fdupes删除重复文件

下载Word文档到电脑，方便收藏和打印～

下载Word文档

相关文章

猜你喜欢

怎么在Linux系统中使用fdupes删除重复文件

本篇文章为大家展示了怎么在Linux系统中使用fdupes删除重复文件，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。fdupes是啥东东？fdupes是Linux下的一个工具，它由Adrian Lo
2023-06-12

Fdupes - 在 Linux 中查找和删除重复文件的命令行工具

Fdupes是由Adrian Lopez用C编程语言编写的 Linux 实用程序，在 MIT 许可下发布。该应用程序能够在给定的目录和子目录集中找到重复文件。
FdupesLinux命令行工具2024-12-02

Linux中怎么查找、删除重复文件

Linux中怎么查找、删除重复文件，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。FSlint同时具有GUI和CLI模式。因此，对于新手来说，这是一个用户友好的工
2023-06-06

Linux中如何使用dupeGuru删除重复文件

本篇文章为大家展示了Linux中如何使用dupeGuru删除重复文件，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。dupeGuru的安装在Ubuntu上，你可以添加Hardcoded Softwar
2023-06-16

Linux系统中怎么使用dupeGuru查找并移除重复文件

今天就跟大家聊聊有关Linux系统中怎么使用dupeGuru查找并移除重复文件，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。1. dupeGuru (标准版)需要告诉那些不熟悉 du
2023-06-13

Linux中怎么查找并删除重复文件

这篇文章将为大家详细讲解有关Linux中怎么查找并删除重复文件，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。fdupes是啥东东？fdupes是Linux下的一个工具，它由Adrian Lo
2023-06-16

Linux中怎么找到并删除重复文件

本篇文章给大家分享的是有关Linux中怎么找到并删除重复文件，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。在 Linux 中找到并删除重复文件出于本指南的目的，我将讨论下面的三
2023-06-16

怎么在Linux系统中批量删除多个文件

这篇文章主要讲解了“怎么在Linux系统中批量删除多个文件”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么在Linux系统中批量删除多个文件”吧！当我们在linux系统中要删除数万或者数十
2023-06-12

Linux系统怎么删除文件夹

这篇文章主要为大家分析了Linux系统怎么删除文件夹的相关知识点，内容详细易懂，操作细节合理，具有一定参考价值。如果感兴趣的话，不妨跟着跟随小编一起来看看，下面跟着小编一起深入学习“Linux系统怎么删除文件夹”的知识吧。使用rmdir删除
2023-06-28

怎么在Linux中恢复已删除的文件

本篇内容主要讲解“怎么在Linux中恢复已删除的文件”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“怎么在Linux中恢复已删除的文件”吧!许多情况下，删除的文件都可以恢复，比如在该文件有活动的进
2023-06-16

怎么在Linux系统中删除文件中的隐私数据

这期内容当中小编将会给大家带来有关怎么在Linux系统中删除文件中的隐私数据，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。什么是Linux系统Linux是一种免费使用和自由传播的类UNIX操作系统，是一个
2023-06-07

Linux系统怎么删除文件中的空行

本篇内容介绍了“Linux系统怎么删除文件中的空行”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！下列 5 种方法可以做到。sed：过滤和替换
2023-06-16

怎么删除Linux系统中的垃圾文件

这篇文章主要介绍了怎么删除Linux系统中的垃圾文件，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。tmpwatch ，它能帮助我们递归删除在给定时间内没有访问的文件和空目录。
2023-06-28

Linux系统怎么删除指定文件

Linux系统怎么删除指定文件，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。命令格式： find 指定的文件夹/ -name this.html~ |xargs r
2023-06-28

怎么在Linux中使用rm命令删除文件

这期内容当中小编将会给大家带来有关怎么在Linux中使用rm命令删除文件，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。直接rm就可以了，不过要加个参数-f 即：rm -f 文件路径 　　-f 就是直接强行
2023-06-07

Linux系统怎么删除隐藏文件

小编今天带大家了解Linux系统怎么删除隐藏文件，文中知识点介绍的非常详细。觉得有帮助的朋友可以跟着小编一起浏览文章的内容，希望能够帮助更多想解决这个问题的朋友找到问题的答案，下面跟着小编一起深入学习“Linux系统怎么删除隐藏文件”的知识
2023-06-28

Linux系统怎么删除乱码文件

这篇文章主要为大家展示了“Linux系统怎么删除乱码文件”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Linux系统怎么删除乱码文件”这篇文章吧。在Linux系统中上传文件、创建目录或文件可能由
2023-06-28

Linux中怎么删除重复的文本行

Linux中怎么删除重复的文本行，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。1、sort命令 - 在Linux和类Unix系统中对文本文件行进行排序。2、uniq命令 - 在
2023-06-16

使用python怎么删除文件夹中的重复图片

这篇文章给大家介绍使用python怎么删除文件夹中的重复图片，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。第一部分：判断两张图片是否相同要查找重复的图片，必然绕不开判断两张图片是否相同。判断两张图片简单呀！图片可以看成
2023-06-15

怎么在Windows10系统中强制删除文件

怎么在Windows10系统中强制删除文件？很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。1、首先，在电脑桌面上点击左下角打开搜索按钮，在输入资源监视器，并点击打
2023-06-07

热门标签

Linux(148)PHP(127)Java(102)正则表达式(101)JavaScript(69)最佳实践(67)jQuery(44)MySQL(39)Docker(37)C语言(36)性能优化(34)Python(34)XML(28)string(27)第三方库(23)回调函数(23)ZIP(22)数组(22)可扩展性(22)字符串比较(21)find(20)RPM(20)Go(20)grep(19)ASP.NETCore(19)XML解析器(19)事件(19)事件处理程序(19)StringBuilder(18)Nginx(18)

编程热搜

查看更多

编程资源站

  • 资料下载
  • 历年试题
2021年下半年软考高级信息系统项目管理师高频考点精选资料
2021下半年软考高级信息系统技术知识点记忆口诀精选资料
2021下半年软考《信息系统项目管理师》考试真题及答案精选资料
2021下半年软考高级考试备考攻略精选资料
2021年软考高级《信息系统项目管理师》巩固练习题汇总精选资料
2021下半年软考高级信息系统项目管理师30个易考知识点汇总精选资料
2021下半年软考高级知识点这样记，还担心记不住吗精选资料
2021年下半年软考高级考试重点汇总精选资料
2021下半年软考高级信息系统项目管理师计算公式汇总精选资料
2021年下半年软考高级《信息系统项目管理师》模拟试题精选资料
查看更多
信息系统项目管理师选择题每日一练（2024）历年试题
2023年下半年信息系统项目管理师综合知识真题演练历年试题
查看更多

目录

本网页已闲置超过3分钟，按键盘任意键或点击空白处，即可回到网页
最新资讯更多
    友情链接编程网

    反馈

    我要
    反馈