歡迎光臨
每天分享高質量文章

使用 parallel 利用起你的所有 CPU 資源 | Linux 中國

bash 命令通常單執行緒執行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加,這意味著只有一小部分的 CPU 資源用於處理你的工作。
— Elliot Cooper


本文導航
編譯自 | https://bash-prompt.net/guides/parallell-bash/ 
 作者 | Elliot Cooper
 譯者 | lujun9972

bash 命令通常單執行緒執行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加,這意味著只有一小部分的 CPU 資源用於處理你的工作。

當我們的工作受制於 CPU 處理資料的速度時,這些未使用的 CPU 資源能產生很大的效用。這種情況在進行多媒體轉換(比如圖片和影片轉換)以及資料壓縮中經常遇到。

本文中,我們將會使用 parallel[1] 程式。parallel 會接受一個串列作為輸入,然後在所有 CPU 核上並行地執行命令來處理該串列。Parallel 甚至會按順序將結果輸出到標準輸出中,因此它可以用在管道中作為其他命令的標準輸入。

如何使用 parallel

parallel 在標準輸入中讀取一個串列作為輸入,然後建立多個指定命令的行程來處理這個串列,其格式為:

  1. list | parallel command

這裡的 list 可以由任何常見的 bash 命令建立,例如:catgrepfind。這些命令的結果透過管道從它們的標準輸出傳遞到 parallel 的標準輸入,像這樣:

  1. find . -type f -name "*.log" | parallel

跟 find 中使用 -exec 類似,parallel 使用 {} 來表示輸入串列中的每個元素。下麵這個例子中,parallel 會使用 gzip 壓縮所有 find 命令輸出的檔案:

  1. find . -type f -name "*.log" | parallel gzip {}

下麵這些實際的使用 parallel 的例子可能會更容易理解一些。

使用 parallel 來進行 JPEG 壓縮

在這個例子中,我收集了一些比較大的 .jpg 檔案(大約 10MB 大小),要用 Mozilla[2]出品的 JPEG 影象壓縮工具 MozJPEG[3] 來進行處理。該工具會在嘗試保持影象質量的同時減少 JPEG 影象檔案的大小。這對降低網頁載入時間很重要。

下麵是一個普通的 find 命令,用來找出當前目錄中的所有 .jpg 檔案,然後透過 MozJPEG 包中提供的影象壓縮工具 (cjpeg) 對其進行處理:

  1. find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'

總共耗時 0m44.114s。該命令執行時的 top 看起來是這樣的:

你可以看到,雖然有 8 個核可用,但實際只有單個執行緒在用單個核。

下麵用 parallel 來執行相同的命令:

  1. find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}

這次壓縮所有影象的時間縮減到了 0m10.814s。從 top 顯示中可以很清楚地看出不同:

所有 CPU 核都滿負荷執行,有 8 個執行緒對應使用 8 個 CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個檔案而不是一個大檔案,那麼 parallel 就能用來提高處理速度。如果你需要壓縮單個檔案而同時又想要利用所有的 CPU 核的話,那麼你應該 gzip 的多執行緒替代品 pigz[4]

首先,我用隨機資料建立了 100 個大約 1GB 的檔案:

  1. for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 命令來進行壓縮:

  1. find . -type f -name "file*" -exec gzip {} ';'

總共耗時 0m28.028s,而且也是隻利用了單核。

換成 parallel 版本:

  1. find . -type f -name "file*" | parallel gzip {}

耗時減少到了 0m5.774s

parallel 是一款非常好用的工具,應該加入到你的系統管理工具包中,在合適的場合它能幫你節省大量的時間。


via: https://bash-prompt.net/guides/parallell-bash/

作者:Elliot Cooper[6] 譯者:lujun9972 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出

LCTT 譯者

lujun9972 ? ? ?
共計翻譯:29 篇
貢獻時間:25 天


推薦文章

< 左右滑動檢視相關文章 >

點選圖片、輸入文章 ID 或識別二維碼直達

贊(0)

分享創造快樂