歡迎光臨
每天分享高質量文章

使用 Dask 在 Python 中進行並行計算 | Linux 中國

Dask 庫可以將 Python 計算擴展到多個核心甚至是多台機器。

— Moshe Zadka

 

關於 Python 性能的一個常見抱怨是全域性解釋器鎖[1](GIL)。由於 GIL,同一時刻只能有一個執行緒執行 Python 位元組碼。因此,即使在現代的多核機器上,使用執行緒也不會加速計算。

但當你需要並行化到多核時,你不需要放棄使用 Python:Dask[2] 庫可以將計算擴展到多個內核甚至多個機器。某些設置可以在數千台機器上配置 Dask,每台機器都有多個內核。雖然存在擴展規模的限制,但一般達不到。

雖然 Dask 有許多內置的陣列操作,但舉一個非內置的例子,我們可以計算偏度[3]

  1. import numpy
  2. import dask
  3. from dask import array as darray
  4. arr = dask.from_array(numpy.array(my_data), chunks=(1000,))
  5. mean = darray.mean()
  6. stddev = darray.std(arr)
  7. unnormalized_moment = darry.mean(arr * arr * arr)
  8. ## See formula in wikipedia:
  9. skewness = ((unnormalized_moment - (3 * mean * stddev ** 2) - mean ** 3) /
  10. stddev ** 3)

請註意,每個操作將根據需要使用盡可能多的內核。這將在所有核心上並行化執行,即使在計算數十億個元素時也是如此。

當然,並不是我們所有的操作都可由這個庫並行化,有時我們需要自己實現並行性。

為此,Dask 有一個“延遲”功能:

  1. import dask
  2. def is_palindrome(s):
  3. return s == s[::-1]
  4. palindromes = [dask.delayed(is_palindrome)(s) for s in string_list]
  5. total = dask.delayed(sum)(palindromes)
  6. result = total.compute()

這將計算字串是否是迴文並傳回迴文的數量。

雖然 Dask 是為資料科學家創建的,但它絕不僅限於資料科學。每當我們需要在 Python 中並行化任務時,我們可以使用 Dask —— 無論有沒有 GIL。

已同步到看一看
赞(0)

分享創造快樂