如何在 Linux 上識別同樣內容的檔案 | Linux 中國

有時檔案副本相當於對硬碟空間的巨大浪費，並會在你想要更新檔案時造成困擾。以下是用來識別這些檔案的六個命令。

— Sandra Henry-stocker

 

在最近的帖子中，我們看了如何識別並定位硬連結的檔案（即，指向同一硬碟內容並共享 inode）。在本文中，我們將檢視能找到具有相同內容，卻不相連結的檔案的命令。

硬連結很有用是因為它們能夠使檔案存放在檔案系統內的多個地方卻不會佔用額外的硬碟空間。另一方面，有時檔案副本相當於對硬碟空間的巨大浪費，在你想要更新檔案時也會有造成困擾之虞。在本文中，我們將看一下多種識別這些檔案的方式。

用 diff 命令比較檔案

可能比較兩個檔案最簡單的方法是使用 diff 命令。輸出會顯示你檔案的不同之處。< 和 >符號代表在當引數傳過來的第一個（<）或第二個（>）檔案中是否有額外的文字行。在這個例子中，在 backup.html 中有額外的文字行。

1. $ diff index.html backup.html
2. 2438a2439,2441
3. > <pre>
4. > That's all there is to report.
5. >

如果 diff 沒有輸出那代表兩個檔案相同。

1. $ diff home.html index.html
2. $

diff 的唯一缺點是它一次只能比較兩個檔案並且你必須指定用來比較的檔案，這篇帖子中的一些命令可以為你找到多個重覆檔案。

使用校驗和

cksum（checksum） 命令計算檔案的校驗和。校驗和是一種將文字內容轉化成一個長數字（例如2819078353 228029）的數學簡化。雖然校驗和並不是完全獨有的，但是檔案內容不同校驗和卻相同的機率微乎其微。

1. $ cksum *.html
2. 2819078353 228029 backup.html
3. 4073570409 227985 home.html
4. 4073570409 227985 index.html

在上述示例中，你可以看到產生同樣校驗和的第二個和第三個檔案是如何可以被預設為相同的。

使用 find 命令

雖然 find 命令並沒有尋找重覆檔案的選項，它依然可以被用來透過名字或型別尋找檔案並執行 cksum 命令。例如：

1. $ find . -name "*.html" -exec cksum {} \;
2. 4073570409 227985 ./home.html
3. 2819078353 228029 ./backup.html
4. 4073570409 227985 ./index.html

使用 fslint 命令

fslint 命令可以被特地用來尋找重覆檔案。註意我們給了它一個起始位置。如果它需要遍歷相當多的檔案，這就需要花點時間來完成。註意它是如何列出重覆檔案並尋找其它問題的，比如空目錄和壞 ID。

1. $ fslint .
2. -----------------------------------file name lint
3. -------------------------------Invalid utf8 names
4. -----------------------------------file case lint
5. ----------------------------------DUPlicate files <==
6. home.html
7. index.html
8. -----------------------------------Dangling links
9. --------------------redundant characters in links
10. ------------------------------------suspect links
11. --------------------------------Empty Directories
12. ./.gnupg
13. ----------------------------------Temporary Files
14. ----------------------duplicate/conflicting Names
15. ------------------------------------------Bad ids
16. -------------------------Non Stripped executables

你可能需要在你的系統上安裝 fslint。你可能也需要將它加入你的命令搜尋路徑：

1. $ export PATH=$PATH:/usr/share/fslint/fslint

使用 rdfind 命令

rdfind 命令也會尋找重覆（相同內容的）檔案。它的名字意即“重覆資料搜尋”，並且它能夠基於檔案日期判斷哪個檔案是原件——這在你選擇刪除副本時很有用因為它會移除較新的檔案。

1. $ rdfind ~
2. Now scanning "/home/shark", found 12 files.
3. Now have 12 files in total.
4. Removed 1 files due to nonunique device and inode.
5. Total size is 699498 bytes or 683 KiB
6. Removed 9 files due to unique sizes from list.2 files left.
7. Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
8. Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
9. Now eliminating candidates based on sha1 checksum:removed 0 files from list.2 files left.
10. It seems like you have 2 files that are not unique
11. Totally, 223 KiB can be reduced.
12. Now making results file results.txt

你可以在 dryrun 樣式中執行這個命令 （換句話說，僅僅彙報可能會另外被做出的改動）。

1. $ rdfind -dryrun true ~
2. (DRYRUN MODE) Now scanning "/home/shark", found 12 files.
3. (DRYRUN MODE) Now have 12 files in total.
4. (DRYRUN MODE) Removed 1 files due to nonunique device and inode.
5. (DRYRUN MODE) Total size is 699352 bytes or 683 KiB
6. Removed 9 files due to unique sizes from list.2 files left.
7. (DRYRUN MODE) Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
8. (DRYRUN MODE) Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
9. (DRYRUN MODE) Now eliminating candidates based on sha1 checksum:removed 0 files from list.2 files left.
10. (DRYRUN MODE) It seems like you have 2 files that are not unique
11. (DRYRUN MODE) Totally, 223 KiB can be reduced.
12. (DRYRUN MODE) Now making results file results.txt

rdfind 命令同樣提供了類似忽略空檔案（-ignoreempty）和跟蹤符號連結（-followsymlinks）的功能。檢視 man 頁面獲取解釋。

1. -ignoreempty ignore empty files
2. -minsize ignore files smaller than speficied size
3. -followsymlinks follow symbolic links
4. -removeidentinode remove files referring to identical inode
5. -checksum identify checksum type to be used
6. -deterministic determiness how to sort files
7. -makesymlinks turn duplicate files into symbolic links
8. -makehardlinks replace duplicate files with hard links
9. -makeresultsfile create a results file in the current directory
10. -outputname provide name for results file
11. -deleteduplicates delete/unlink duplicate files
12. -sleep set sleep time between reading files (milliseconds)
13. -n, -dryrun display what would have been done, but don't do it

註意 rdfind 命令提供了 -deleteduplicates true 的設定選項以刪除副本。希望這個命令語法上的小問題不會惹惱你。;-)

1. $ rdfind -deleteduplicates true .
2. ...
3. Deleted 1 files. <==

你將可能需要在你的系統上安裝 rdfind 命令。試驗它以熟悉如何使用它可能是一個好主意。

使用 fdupes 命令

fdupes 命令同樣使得識別重覆檔案變得簡單。它同時提供了大量有用的選項——例如用來迭代的 -r。在這個例子中，它像這樣將重覆檔案分組到一起：

1. $ fdupes ~
2. /home/shs/UPGRADE
3. /home/shs/mytwin
5. /home/shs/lp.txt
6. /home/shs/lp.man
8. /home/shs/penguin.png
9. /home/shs/penguin0.png
10. /home/shs/hideme.png

這是使用迭代的一個例子，註意許多重覆檔案是重要的（使用者的 .bashrc 和 .profile 檔案）並且不應被刪除。

1. # fdupes -r /home
2. /home/shark/home.html
3. /home/shark/index.html
5. /home/dory/.bashrc
6. /home/eel/.bashrc
8. /home/nemo/.profile
9. /home/dory/.profile
10. /home/shark/.profile
12. /home/nemo/tryme
13. /home/shs/tryme
15. /home/shs/arrow.png
16. /home/shs/PNGs/arrow.png
18. /home/shs/11/files_11.zip
19. /home/shs/ERIC/file_11.zip
21. /home/shs/penguin0.jpg
22. /home/shs/PNGs/penguin.jpg
23. /home/shs/PNGs/penguin0.jpg
25. /home/shs/Sandra_rotated.png
26. /home/shs/PNGs/Sandra_rotated.png

fdupe 命令的許多選項列如下。使用 fdupes -h 命令或者閱讀 man 頁面獲取詳情。

1. -r --recurse recurse
2. -R --recurse: recurse through specified directories
3. -s --symlinks follow symlinked directories
4. -H --hardlinks treat hard links as duplicates
5. -n --noempty ignore empty files
6. -f --omitfirst omit the first file in each set of matches
7. -A --nohidden ignore hidden files
8. -1 --sameline list matches on a single line
9. -S --size show size of duplicate files
10. -m --summarize summarize duplicate files information
11. -q --quiet hide progress indicator
12. -d --delete prompt user for files to preserve
13. -N --noprompt when used with --delete, preserve the first file in set
14. -I --immediate delete duplicates as they are encountered
15. -p --permissions don't soncider files with different owner/group or
16. permission bits as duplicates
17. -o --order=WORD order files according to specification
18. -i --reverse reverse order while sorting
19. -v --version display fdupes version
20. -h --help displays help

fdupes 命令是另一個你可能需要安裝並使用一段時間才能熟悉其眾多選項的命令。

總結

Linux 系統提供能夠定位並（潛在地）能移除重覆檔案的一系列的好工具，以及能讓你指定搜尋區域及當對你所發現的重覆檔案時的處理方式的選項。
分享