技术员联盟提供win764位系统下载,win10,win7,xp,装机纯净版,64位旗舰版,绿色软件,免费软件下载基地!

当前位置:主页 > 教程 > 服务器类 >

Linux系统中使用fdupes来查找并删除重复文件

来源:技术员联盟┆发布时间:2018-02-11 06:19┆点击:

  对于大多数计算机用户而言,查找并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作,它耗时又耗力。但如果你的机器上跑着GNU/Linux,那么查找重复文件会变得十分简单,这多亏了fdupes工具。

  fdupes是啥东东?

  fdupes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名,以及逐字节比较文件来识别重复内容,fdupes有各种选项,可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。

  文件对比以下列顺序开始:

  大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比

  安装 fdupes 到 Linux

  在基于Debian的系统上,如Ubuntu和Linux Mint,安装最新版fdupes,用下面的命令手到擒来。

  代码如下:

  $ sudo apt-get install fdupes

  在基于CentOS/RHEL和Fedora的系统上,你需要开启epel仓库来安装fdupes包。

  代码如下:

  # yum install fdupes

  # dnf install fdupes

  [在 Fedora 22 及其以后]

  注意:自Fedora 22之后,默认的包管理器yum被dnf取代了。

  fdupes命令如何使用

  1、 作为演示的目的,让我们来在某个目录(比如 tecmint)下创建一些重复文件,命令如下:

  代码如下:

  $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done

  在执行以上命令后,让我们使用ls命令验证重复文件是否创建。

  代码如下:

  $ ls -l

  total 60

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt

  -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt

  上面的脚本创建了15个文件,名称分别为tecmint1.txt,tecmint2.txt……tecmint15.txt,并且每个文件的数据相同,如

  "I Love Tecmint. Tecmint is a very nice community of Linux Users."

  2、 现在在tecmint文件夹内搜索重复的文件。

  $ fdupes /home/$USER/Desktop/tecmint

  /home/tecmint/Desktop/tecmint/tecmint13.txt

  /home/tecmint/Desktop/tecmint/tecmint8.txt

  /home/tecmint/Desktop/tecmint/tecmint11.txt

  /home/tecmint/Desktop/tecmint/tecmint3.txt

  /home/tecmint/Desktop/tecmint/tecmint4.txt

  /home/tecmint/Desktop/tecmint/tecmint6.txt

  /home/tecmint/Desktop/tecmint/tecmint7.txt

  /home/tecmint/Desktop/tecmint/tecmint9.txt

  /home/tecmint/Desktop/tecmint/tecmint10.txt

  /home/tecmint/Desktop/tecmint/tecmint2.txt

  /home/tecmint/Desktop/tecmint/tecmint5.txt

  /home/tecmint/Desktop/tecmint/tecmint14.txt

  /home/tecmint/Desktop/tecmint/tecmint1.txt

  /home/tecmint/Desktop/tecmint/tecmint15.txt

  /home/tecmint/Desktop/tecmint/tecmint12.txt

  3、 使用-r选项在每个目录包括其子目录中递归搜索重复文件。

  它会递归搜索所有文件和文件夹,花一点时间来扫描重复文件,时间的长短取决于文件和文件夹的数量。在此其间,终端中会显示全部过程,像下面这样。

  代码如下:

  $ fdupes -r /home

  Progress [37780/54747] 69%

  4、 使用-S选项来查看某个文件夹内找到的重复文件的大小。

  代码如下:

  $ fdupes -S /home/$USER/Desktop/tecmint

  65 bytes each:

  /home/tecmint/Desktop/tecmint/tecmint13.txt

  /home/tecmint/Desktop/tecmint/tecmint8.txt

  /home/tecmint/Desktop/tecmint/tecmint11.txt

  /home/tecmint/Desktop/tecmint/tecmint3.txt

  /home/tecmint/Desktop/tecmint/tecmint4.txt

  /home/tecmint/Desktop/tecmint/tecmint6.txt

  /home/tecmint/Desktop/tecmint/tecmint7.txt

  /home/tecmint/Desktop/tecmint/tecmint9.txt

  /home/tecmint/Desktop/tecmint/tecmint10.txt

  /home/tecmint/Desktop/tecmint/tecmint2.txt

  /home/tecmint/Desktop/tecmint/tecmint5.txt

  /home/tecmint/Desktop/tecmint/tecmint14.txt

  /home/tecmint/Desktop/tecmint/tecmint1.txt

  /home/tecmint/Desktop/tecmint/tecmint15.txt

  /home/tecmint/Desktop/tecmint/tecmint12.txt

  5、 你可以同时使用-S和-r选项来查看所有涉及到的目录和子目录中的重复文件的大小,如下:

  代码如下:

  $ fdupes -Sr /home/avi/Desktop/

  65 bytes each:

  /home/tecmint/Desktop/tecmint/tecmint13.txt

  /home/tecmint/Desktop/tecmint/tecmint8.txt

  /home/tecmint/Desktop/tecmint/tecmint11.txt

  /home/tecmint/Desktop/tecmint/tecmint3.txt

  /home/tecmint/Desktop/tecmint/tecmint4.txt

  /home/tecmint/Desktop/tecmint/tecmint6.txt

  /home/tecmint/Desktop/tecmint/tecmint7.txt

  /home/tecmint/Desktop/tecmint/tecmint9.txt

  /home/tecmint/Desktop/tecmint/tecmint10.txt

  /home/tecmint/Desktop/tecmint/tecmint2.txt

  /home/tecmint/Desktop/tecmint/tecmint5.txt

  /home/tecmint/Desktop/tecmint/tecmint14.txt

  /home/tecmint/Desktop/tecmint/tecmint1.txt

  /home/tecmint/Desktop/tecmint/tecmint15.txt

  /home/tecmint/Desktop/tecmint/tecmint12.txt

  107 bytes each:

  /home/tecmint/Desktop/resume_files/r-csc.html

  /home/tecmint/Desktop/resume_files/fc.html