Linux wget 命令用法詳解

來源：peida

http://www.cnblogs.com/peida/archive/2013/03/18/2965369.html

Linux系統中的wget是一個下載檔案的工具，它用在命令列下。對於Linux使用者是必不可少的工具，我們經常要下載一些軟體或從遠端伺服器恢復備份到本地伺服器。wget支援HTTP，HTTPS和FTP協議，可以使用HTTP代理。所謂的自動下載是指，wget可以在使用者退出系統的之後在後臺執行。這意味這你可以登入系統，啟動一個wget下載任務，然後退出系統，wget將在後臺執行直到任務完成，相對於其它大部分瀏覽器在下載大量資料時需要使用者一直的參與，這省去了極大的麻煩。

wget 可以跟蹤HTML頁面上的連結依次下載來建立遠端伺服器的本地版本，完全重建原始站點的目錄結構。這又常被稱作”遞迴下載”。在遞迴下載的時候，wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時，將連結轉換成指向本地檔案，以方便離線瀏覽。

wget 非常穩定，它在頻寬很窄的情況下和不穩定網路中有很強的適應性.如果是由於網路的原因下載失敗，wget會不斷的嘗試，直到整個檔案下載完畢。如果是伺服器打斷下載過程，它會再次聯到伺服器上從停止的地方繼續下載。這對從那些限定了連結時間的伺服器上下載大檔案非常有用。

1．命令格式：

wget [引數] [URL地址]

2．命令功能：

用於從網路上下載資源，沒有指定目錄，下載資源回預設為當前目錄。wget雖然功能強大，但是使用起來還是比較簡單：

1）支援斷點下傳功能；這一點，也是網路螞蟻和FlashGet當年最大的賣點，現在，Wget也可以使用此功能，那些網路不是太好的使用者可以放心了；

2）同時支援FTP和HTTP下載方式；儘管現在大部分軟體可以使用HTTP方式下載，但是，有些時候，仍然需要使用FTP方式下載軟體；

3）支援代理伺服器；對安全強度很高的系統而言，一般不會將自己的系統直接暴露在網際網路上，所以，支援代理是下載軟體必須有的功能；

4）設定方便簡單；可能，習慣圖形介面的使用者已經不是太習慣命令列了，但是，命令列在設定上其實有更多的優點，最少，滑鼠可以少點很多次，也不要擔心是否錯點滑鼠；

5）程式小，完全免費；程式小可以考慮不計，因為現在的硬碟實在太大了；完全免費就不得不考慮了，即使網路上有很多所謂的免費軟體，但是，這些軟體的廣告卻不是我們喜歡的。

3．命令引數：

啟動引數：

• -V, –version 顯示wget的版本後退出

• -h, –help 列印語法幫助

• -b, –background 啟動後轉入後臺執行

• -e, –execute=COMMAND 執行`.wgetrc’格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc

記錄和輸入檔案引數：

• -o, –output-file=FILE 把記錄寫到FILE檔案中

• -a, –append-output=FILE 把記錄追加到FILE檔案中

• -d, –debug 列印除錯輸出

• -q, –quiet 安靜樣式(沒有輸出)

• -v, –verbose 冗長樣式(這是預設設定)

• -nv, –non-verbose 關掉冗長樣式，但不是安靜樣式

• -i, –input-file=FILE 下載在FILE檔案中出現的URLs

• -F, –force-html 把輸入檔案當作HTML格式檔案對待

• -B, –base=URL 將URL作為在-F -i引數指定的檔案中出現的相對連結的字首

• –sslcertfile=FILE 可選客戶端證書

• –sslcertkey=KEYFILE 可選客戶端證書的KEYFILE

• –egd-file=FILE 指定EGD socket的檔案名

下載引數：

• –bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)

• -t, –tries=NUMBER 設定最大嘗試連結次數(0 表示無限制).

• -O –output-document=FILE 把檔案寫到FILE檔案中

• -nc, –no-clobber 不要改寫存在的檔案或使用.#字首

• -c, –continue 接著下載沒下載完的檔案

• –progress=TYPE 設定行程條標記

• -N, –timestamping 不要重新下載檔案除非比本地檔案新

• -S, –server-response 列印伺服器的回應

• –spider 不下載任何東西

• -T, –timeout=SECONDS 設定響應超時的秒數

• -w, –wait=SECONDS 兩次嘗試之間間隔SECONDS秒

• –waitretry=SECONDS 在重新連結之間等待1…SECONDS秒

• –random-wait 在下載之間等待0…2*WAIT秒

• -Y, –proxy=on/off 開啟或關閉代理

• -Q, –quota=NUMBER 設定下載的容量限制

• –limit-rate=RATE 限定下載輸率

目錄引數：

• -nd –no-directories 不建立目錄

• -x, –force-directories 強制建立目錄

• -nH, –no-host-directories 不建立主機目錄

• -P, –directory-prefix=PREFIX 將檔案儲存到目錄 PREFIX/…

• –cut-dirs=NUMBER 忽略 NUMBER層遠端目錄

HTTP 選項引數：

• –http-user=USER 設定HTTP使用者名稱為 USER.

• –http-passwd=PASS 設定http密碼為 PASS

• -C, –cache=on/off 允許/不允許伺服器端的資料快取 (一般情況下允許)

• -E, –html-extension 將所有text/html檔案以.html副檔名儲存

• –ignore-length 忽略 `Content-Length’頭域

• –essay-header=STRING 在essay-headers中插入字串 STRING

• –proxy-user=USER 設定代理的使用者名稱為 USER

• –proxy-passwd=PASS 設定代理的密碼為 PASS

• –referer=URL 在HTTP請求中包含 `Referer: URL’頭

• -s, –save-essay-headers 儲存HTTP頭到檔案

• -U, –user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION

• –no-http-keep-alive 關閉 HTTP活動連結 (永遠連結)

• –cookies=off 不使用 cookies

• –load-cookies=FILE 在開始會話前從檔案 FILE中載入cookie

• –save-cookies=FILE 在會話結束後將 cookies儲存到 FILE檔案中

FTP 選項引數：

• -nr, –dont-remove-listing 不移走 `.listing’檔案

• -g, –glob=on/off 開啟或關閉檔案名的 globbing機制

• –passive-ftp 使用被動傳輸樣式 (預設值).

• –active-ftp 使用主動傳輸樣式

• –retr-symlinks 在遞迴的時候，將連結指向檔案(而不是目錄)

遞迴下載引數：

• -r, –recursive 遞迴下載－－慎用!

• -l, –level=NUMBER 最大遞迴深度 (inf 或 0 代表無窮)

• –delete-after 在現在完畢後區域性刪除檔案

• -k, –convert-links 轉換非相對連結為相對連結

• -K, –backup-converted 在轉換檔案X之前，將之備份為 X.orig

• -m, –mirror 等價於 -r -N -l inf -nr

• -p, –page-requisites 下載顯示HTML檔案的所有圖片

遞迴下載中的包含和不包含(accept/reject)：

• -A, –accept=LIST 分號分隔的被接受副檔名的串列

• -R, –reject=LIST 分號分隔的不被接受的副檔名的串列

• -D, –domains=LIST 分號分隔的被接受域的串列

• –exclude-domains=LIST 分號分隔的不被接受的域的串列

• –follow-ftp 跟蹤HTML檔案中的FTP連結

• –follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的串列

• -G, –ignore-tags=LIST 分號分隔的被忽略的HTML標簽的串列

• -H, –span-hosts 當遞迴時轉到外部主機

• -L, –relative 僅僅跟蹤相對連結

• -I, –include-directories=LIST 允許目錄的串列

• -X, –exclude-directories=LIST 不被包含目錄的串列

• -np, –no-parent 不要追溯到父目錄

• wget -S –spider url 不下載只顯示過程

4．使用實體：

實體1：使用wget下載單個檔案

命令：

wget http://www.linuxidc.com/linuxidc.zip

說明：

以下的例子是從網路下載一個檔案並儲存在當前目錄，在下載的過程中會顯示進度條，包含（下載完成百分比，已經下載的位元組，當前下載速度，剩餘下載時間）。

實體2：使用wget -O下載並以不同的檔案名儲存

命令：

wget -O wordpress.zip http://www.linuxidc.com/download.aspx?id=1080

說明：

wget預設會以最後一個符合”/”的後面的字元來命令，對於動態連結的下載通常檔案名會不正確。

錯誤：下麵的例子會下載一個檔案並以名稱download.aspx?id=1080儲存

wget http://www.linuxidc.com/download?id=1

即使下載的檔案是zip格式，它仍然以download.php?id=1080命令。

正確：為瞭解決這個問題，我們可以使用引數-O來指定一個檔案名：

wget -O wordpress.zip http://www.linuxidc.com/download.aspx?id=1080

實體3：使用wget –limit -rate限速下載

命令：

wget –limit-rate=300k http://www.linuxidc.com/linuxidc.zip

說明：

當你執行wget的時候，它預設會佔用全部可能的寬頻下載。但是當你準備下載一個大檔案，而你還需要下載其它檔案時就有必要限速了。

實體4：使用wget -c斷點續傳

命令：

wget -c http://www.linuxidc.com/linuxidc.zip

說明：

使用wget -c重新啟動下載中斷的檔案，對於我們下載大檔案時突然由於網路等原因中斷非常有幫助，我們可以繼續接著下載而不是重新下載一個檔案。需要繼續中斷的下載時可以使用-c引數。

實體5：使用wget -b後臺下載

命令：

wget -b http://www.linuxidc.com/linuxidc.zip

說明：

對於下載非常大的檔案的時候，我們可以使用引數-b進行後臺下載。

wget -b http://www.linuxidc.com/linuxidc.zip

Continuing in background, pid 1840.

Output will be written to `wget-log’.

你可以使用以下命令來察看下載進度：

tail -f wget-log

實體6：偽裝代理名稱下載

命令：

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ http://www.linuxidc.com/linuxidc.zip

說明：

有些網站能透過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以透過–user-agent引數偽裝。

實體7：使用wget –spider測試下載連結

命令：

wget –spider URL

說明：

當你打算進行定時下載，你應該在預定時間測試下載連結是否有效。我們可以增加–spider引數進行檢查。

wget –spider URL

如果下載連結正確，將會顯示

wget –spider URL

Spider mode enabled. Check if remote file exists.

HTTP request sent, awaiting response… 200 OK

Length: unspecified [text/html]

Remote file exists and could contain further links,

but recursion is disabled — not retrieving.

這保證了下載能在預定的時間進行，但當你給錯了一個連結，將會顯示如下錯誤

wget –spider url

Spider mode enabled. Check if remote file exists.

HTTP request sent, awaiting response… 404 Not Found

Remote file does not exist — broken link!!!

你可以在以下幾種情況下使用spider引數：

定時下載之前進行檢查

間隔檢測網站是否可用

檢查網站頁面的死連結

實體8：使用wget –tries增加重試次數

命令：

wget –tries=40 URL

說明：

如果網路有問題或下載一個大檔案也有可能失敗。wget預設重試20次連線下載檔案。如果需要，你可以使用–tries增加重試次數。

實體9：使用wget -i下載多個檔案

命令：

wget -i filelist.txt

說明：

首先，儲存一份下載連結檔案

cat > filelist.txt

url1

url2

url3

url4

接著使用這個檔案和引數-i下載

實體10：使用wget –mirror映象網站

命令：

wget –mirror -p –convert-links -P ./LOCAL URL

說明：

下載整個網站到本地。

–miror:開戶映象下載

-p:下載所有為了html頁面顯示正常的檔案

–convert-links:下載後，轉換成本地的連結

-P ./LOCAL：儲存所有檔案和目錄到本地指定目錄

實體11：使用wget –reject過濾指定格式下載

命令：
  wget –reject=gif ur

說明：

下載一個網站，但你不希望下載圖片，可以使用以下命令。

實體12：使用wget -o把下載資訊存入日誌檔案

命令：

wget -o download.log URL

說明：

不希望下載資訊直接顯示在終端而是在一個日誌檔案，可以使用

實體13：使用wget -Q限制總下載檔案大小

命令：

wget -Q5m -i filelist.txt

說明：

當你想要下載的檔案超過5M而退出下載，你可以使用。註意：這個引數對單個檔案下載不起作用，只能遞迴下載時才有效。

實體14：使用wget -r -A下載指定格式檔案

命令：

wget -r -A.pdf url

說明：

可以在以下情況使用該功能：

下載一個網站的所有圖片

下載一個網站的所有影片

下載一個網站的所有PDF檔案

實體15：使用wget FTP下載

命令：

wget ftp-url

wget –ftp-user=USERNAME –ftp-password=PASSWORD url

說明：

可以使用wget來完成ftp連結的下載。

使用wget匿名ftp下載：

wget ftp-url

使用wget使用者名稱和密碼認證的ftp下載

wget –ftp-user=USERNAME –ftp-password=PASSWORD url

備註：編譯安裝

使用如下命令編譯安裝：

# tar zxvf wget-1.9.1.tar.gz
# cd wget-1.9.1
# ./configure
# make
# make install

---

●編號588，輸入編號直達本文

●輸入m獲取文章目錄

推薦↓↓↓

 

運維

更多推薦《18個技術類微信公眾號》

涵蓋：程式人生、演演算法與資料結構、駭客技術與網路安全、大資料技術、前端開發、Java、Python、Web開發、安卓開發、iOS開發、C/C++、.NET、Linux、資料庫、運維等。