歡迎光臨
每天分享高質量文章

為什麼Python這麼慢?

來自:大資料文摘(微信號:BigDataDigest)

編譯:jojo、Hope、張秋玥、CoolBoy

相關報道:
https://hackernoon.com/why-is-python-so-slow-e5074b6fe55b


Python語言近年來人氣爆棚。它廣泛應用於網絡開發運營,資料科學,網絡開發,以及網絡安全問題中。

然而,Python在速度上完全沒有優勢可言。

在速度上,Java如何同C,C++,C#或者Python相比較?答案幾乎完全取決於要運行的應用。在這個問題上,沒有完美的評判標準,然而The Computer Language Benchmarks Game 是一個不錯的方法。

鏈接:

http://benchmarksgame.alioth.debian.org

基於我對The Computer Language Benchmarks Game超過十年的觀察,相比於Java,C#,Go,JavaScript, C++等,Python是最慢的語言之一。其中包括了 JIT (C#, Java) 和 AOT (C, C++)編譯器,以及解釋型語言,例如JavaScript。

動態編譯:

https://en.wikipedia.org/wiki/Just-in-time_compilation

靜態編譯:

https://en.wikipedia.org/wiki/Ahead-of-time_compilation

註意:當我提到“Python”時,我指的是CPython這個官方的解釋器。我也將在本文中提及其他的解釋器。

我想要回答這樣一個問題:當運行同一個程式時,為什麼Python會 比其他語言慢2到10倍?為什麼我們無法將它變得更快?

以下是最主要的原因:

  • “它是GIL(Global Interpreter Lock全域性解釋器鎖)”

  • “它是解釋型語言而非編譯語言”

  • “它是動態型別語言”

那麼以上哪種原因對性能影響最大呢?

“它是全域性解釋器鎖”

現代計算機的CPU通常是多核的,並且有些擁有多個處理器。為了充分利用多餘的處理能力,操作系統定義了一種低級的結構叫做執行緒:一個行程(例如Chrome瀏覽器)可以產生多個執行緒並且指導內部系統。


如果一個行程是CPU密集型,那麼其負載可以被多核同時處理,從而有效提高大多數應用的速度。

當我寫這篇文章時,我的Chrome瀏覽器同時擁有44個執行緒。註意,基於POSIX(比如MacOS和Linux)和Windows操作系統相比,執行緒的結構和API是不同的。操作系統也會處理執行緒的調度問題。

如果你之前沒有做過多執行緒編程,你需要快速熟悉鎖的概念。區別於單執行緒行程,你需要確保當記憶體中的變數被修改時,多執行緒不會同時試圖訪問或者改變同一個儲存地址。

當CPython創建變數時,它會預先分配儲存空間,然後計算當前變數的取用數目。這個概念被稱為取用計數。如果取用計數為零,那麼它將從系統中釋放對應儲存區域。


這就是為什麼在CPython中創造“臨時”變數不會使應用占用大量的儲存空間——尤其是當應用中使用了for迴圈這一類可能大量創建“臨時”變數的結構時。

當存在多個執行緒呼叫變數時,CPython如何鎖住取用計數成為了一個挑戰。而“全域性解釋鎖”應運而生,它能夠謹慎控制執行緒的執行。無論有多少的執行緒,解釋器每次只能執行一個操作。

這對Python的性能意味著什麼呢?

如果你的應用基於單執行緒、單解釋器,那麼討論速度這一點就毫無意義,因為去掉GIL並不會影響代碼性能。

如果你想使用執行緒在單解釋器(Python 行程)中實現併發,並且你的執行緒為IO密集型(例如網絡IO或磁盤IO),你就會看到GIL爭用的結果。

該圖來自David Beazley的GIL可視化

如果你有一個網絡應用(例如Django)並且使用WSGI,那麼每一個對於你的網絡應用的請求將是一個獨立的Python解釋器,因此每個請求只有一個鎖。因為Python解釋器啟動很慢,一些WSGI便集成了能夠使保持Python行程的“守護行程”  。

那麼其他Python解釋器的速度又如何呢?

PyPy擁有GIL,通常比CPython快至少三倍。

Jython沒有GIL,因為在Jython中Python執行緒是用Java執行緒表示的,這得益於JVM記憶體管理系統。


 JavaScript是如何做到這一點的呢?

首先,所有的Javascript引擎使用標記加清除的垃圾收集系統,而之前提到GIL的基本訴求是CPython的儲存管理演算法。

JavaScript沒有GIL,但因為它是單執行緒的,所以也並不需要GIL。


JavaScript通過事件迴圈和承諾/回呼樣式來實現異步編程的併發。Python有與異步事件迴圈相似的過程。

 “因為它是解釋型語言

我經常聽到這句話。我覺得這隻是對於CPython實際運行方式的一種簡單解釋。如果你在終端中輸入python myscript.py,那麼CPython將對這段代碼開始一系列的讀取,詞法分析,解析,編譯,解釋和運行。

這個過程中的重要步驟是在編譯階段創建一個.pyc 檔案,這個位元組碼序列將被寫入Python3下__pycache__/ 路徑中的一個檔案(對於Python2,檔案路徑相同)。這個步驟不僅僅應用於腳本檔案,也應用於所有匯入的代碼,包括第三方模塊。

所以大多時候(除非你寫的代碼只運行一次),Python是在解釋位元組碼並且本地執行。下麵我們將Java和C#.NET相比較:

Java編譯成一門“中間語言”,然後Java虛擬機讀取位元組代碼並即時編譯為機器代碼。.NET的通用中間語言(CIL)是一樣的,它的通用語言運行時間(CLR)也採用即時編譯的方法轉化為機器代碼。

那麼,如果Python用的是和Java和C#一樣的虛擬機和某種位元組代碼,為什麼在基準測試中它卻慢得多?首先,.NET和Java是採用JIT編譯的。

JIT,又稱即時編譯,需要一種中間語言來把代碼進行分塊(或者叫資料幀)。預編譯(AOT, Ahead of Time)器的設計保證了CPU能夠在交互之前理解代碼中的每一行。

JIT本身不會使執行速度更快,因為它仍然執行相同的位元組碼序列。但是,JIT允許在運行時進行優化。好的JIT優化器可以檢測哪些部分執行次數比較多,這些部分被稱為“熱點”。然後,它將用更高效的代碼替換它們,完成優化。

這就意味著當計算機應用程式需要重覆做一件事情的時候,它就會更加地快。另外,我們要知道Java和C#是強型別語言(變數需要預定義),因此優化器可以對代碼做更多的假設。

PyPy使用即時編譯器,並且前文也有提到它比CPython更快。這篇關於基準測試的文章介紹得更為詳細——什麼版本的Python最快?


鏈接:

https://hackernoon.com/which-is-the-fastest-version-of-python-2ae7c61a6b2b 

那麼,為什麼CPython不使用即時編譯器呢?

JIT存在一些缺點:其中一個是啟動時間。CPython啟動時間已經相對較慢,PyPy比CPython還要慢2-3倍。眾所周知,Java虛擬機的啟動速度很慢。為瞭解決這個問題,.NET CLR在系統啟動的時候就開始運行,但CLR的開發人員還開發了專門運行CLR的操作系統來加快它。

如果你有一個運行時間很長的Python行程,並且其代碼可以被優化(因為它包含前文所述的“熱點”),那麼JIT就能夠起到很大作用。

但是,CPython適用於各類應用。因此,如果你使用Python開發命令列應用程式,每次呼叫CLI時都必須等待JIT啟動,這將非常緩慢。

CPython必須儘量多地嘗試不同的案例以保證通用性,而把JIT插入到CPython中可能會讓這個專案停滯不前。

如果你想要借助JIT的力量,而且你的工作量還比較大,那麼使用PyPy吧。

“因為它是一個動態型別語言”

在靜態型別語言中,定義變數時必須宣告型別。C, C++, Java, C#, Go都是這種語言。

在動態型別語言中,型別的概念依舊存在,但是這個變數的型別是動態變化的。

a = 1

a = "foo"

在上面這個例子中,Python創建第二個變數的時候用了同樣的名字,但是變數型別是str(字符型),這樣就對先前在記憶體中給a分配的空間進行了釋放和再分配。

靜態型別語言的這種設計並不是為了麻煩大家——它們是按照CPU的運行方式設計的。如果最終需要將所有內容都轉化為簡單的二進制操作,那就必須將物件和型別轉換為低級資料結構。

Python自動完成了這個過程,我們看不見,也沒必要看見。

不必宣告型別不是使Python變慢的原因。Python語言的設計使我們幾乎可以創建任何動態變數。我們可以在運行時替換物件中的方法,也可以胡亂地把低級系統呼叫賦給一個值。幾乎怎麼修改都可以。

正是這種設計使得優化Python變得異常困難。

為了闡明我的觀點,我將使用一個MacOS中的應用。它是一個名為Dtrace的系統呼叫跟蹤工具。CPython發行版沒有內置DTrace,因此你必須重新編譯CPython。以下演示中使用3.6.6版本。

wget https://github.com/python/cpython/archive/v3.6.6.zip

unzip v3.6.6.zip

cd v3.6.6

./configure --with-dtrace

make

現在python.exe將在整條代碼中使用Dtrace跟蹤器。Paul Ross就Dtrace做了一篇很棒的短演講。 你可以下載Python的DTrace啟動檔案來測試函式呼叫、執行時間、CPU時間、系統呼叫等各種有意思的事情。例如:


sudo dtrace -s toolkit/.d -c ‘../cpython/python.exe script.py’


DTrace啟動檔案

https://github.com/paulross/dtrace-py/tree/master/toolkit

演講鏈接:

https://github.com/paulross/dtrace-py#the-lightning-talk


py_callflow跟蹤器顯示應用程式中的所有函式呼叫

因此,是Python的動態型別讓它變慢的嗎?

  • 比較和轉換型別是耗時的,因為每次讀取、寫入變數或取用變數型別時都會進行檢查

  • 很難優化一種如此動態的語言。其他語言之所以那麼快是因為他們犧牲了一定的靈活性,從而提高了性能。

  • 瞭解一下Cython,它結合了C-Static型別和Python來優化已知型別的代碼,可以提供84倍速度的性能提升。

結論

Python的緩慢主要是由於它動態和多用途的特點。它可以用於解決幾乎所有問題,但是更加優化而快捷的替代方案可能存在。

但是,有一些方法可以通過利用異步計算,理解分析工具,以及考慮使用多個解釋器來優化Python應用程式。

對於有些啟動時間相對不重要,並且即時編譯器(JIT)可以提高效率的應用,可以考慮使用PyPy。

對於性能優先並且有更多靜態變數的代碼部分,請考慮使用Cython。



●編號486,輸入編號直達本文

●輸入m獲取文章目錄

推薦↓↓↓

 

演算法與資料結構

更多推薦18個技術類微信公眾號

涵蓋:程式人生、演算法與資料結構、黑客技術與網絡安全、大資料技術、前端開發、Java、Python、Web開發、安卓開發、iOS開發、C/C++、.NET、Linux、資料庫、運維等。

赞(0)

分享創造快樂