歡迎光臨
每天分享高質量文章

深入淺出地,徹徹底底地理解Python中的編碼

來自:簡書,作者:milter

鏈接:https://www.jianshu.com/p/eb22cee6c553


Python處理文本的功能非常強大,但是如果是初學者,沒有搞清楚python中的編碼機制,也經常會遇到亂碼或者decode error。本文的目的是簡明扼要地說明python的編碼機制,並給出一些建議。

問題1:問題在哪裡?

問題是我們的靶子,心中沒有問題去學習就會抓不住重點。
本文使用的編程環境是centos6.7,python2.7。我們在shell中鍵入python以打開python命令列,並鍵入如下兩句話:

 s = "中國zg"
 e  = s.encode("utf-8")

現在的問題是:這段代碼能運行嗎?
答案是不能,會報如下的錯:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

請留意一下錯誤中說明的0xe4,它是我們分析錯誤的突破口。

相信很多人都遇到過這個錯誤。那麼新的問題來了。

問題2:Why?

要搞清楚原因,我們不妨認真分析下這兩句話的執行流程:
首先,我們通過鍵盤在python命令列解釋器中鍵入了 中國zg 並且給它加上了英文的雙引號,然後又賦值給了變數s,看起來很稀鬆平常是不是?其實裡面大有玄機。

當我們通過鍵盤在程式中輸入字符時,我們是通過操作系統完成這個功能的。我們在屏幕上看到的 中國zg 實際上是操作系統給我們人類的一個反饋,告訴你:“嗨,哥們,你在程式中輸入了字符 中國zg ”

那操作系統給程式的反饋是什麼呢?答案就是01串,這個01串是什麼樣子,又是怎麼生成的呢?
答案就是操作系統使用自己的預設編碼方式,將中國zg進行了編碼,並把編碼後的01串給了程式。

我們用的centos系統預設的編碼是utf-8,所以,只要知道中國zg每個字符的utf-8的編碼就可以知道01串是什麼了。

查詢後,可以獲得它們的編碼是(以16進制和2進製表示):

z g
E4B8AD E59BBD 7A 67
11100101 10011011 10111101 11100101 10011011 10111101 01111010 01100111

現在我們知道操作系統傳給程式的01串長什麼樣子了。然後,程式會怎麼處理它呢?

程式看到這個01串被雙引號包圍著,自然知道這個01串是一個字串。然後這個字串被賦值給了s。

到此,就是第一句的執行邏輯。

現在繼續進行第二句的執行。
e = s.encode(“utf-8”)的意思是將字串s用utf-8進行編碼,並將編碼後的字串賦值給e。問題來了,程式現在知道s中的01串,還知道這個01串表示的是字串,但這個字串的編碼是什麼呢?我們必須知道01串的現有編碼才能解析出裡面的字符,也才能用新的編碼方式,如utf-8來重新編碼它。操作系統只給程式傳來了01串,並沒有告訴程式這個01串用的字符編碼是什麼。

此時,python程式就會用它自己預設的編碼當作s的編碼,進而來識別s中的內容。這個預設的編碼是ASCII,所以,它會用ASCII來解釋這個01串,識別出字串的內容,再將這個字串轉為utf-8編碼。

好了,程式碰到的第一個位元組就是E4(11100101 ),傻眼! ASCII編碼中沒有這玩意兒,因為ASCII編碼中位元組第一位都是0。

怎麼辦?
報錯唄,於是我們就看到了上面的錯誤。
錯誤中的0xe4就是字符 “中” 的utf8編碼的第一個位元組。

問題3:How?

知道問題出在哪裡了,怎麼解決這個問題呢?

顯然,我們只要告訴程式,這個s中的01串的編碼是utf-8,程式就應該能正確工作。

但這樣的解決方法有一個問題,就是不夠通用。

假如我有個程式,它要讀取很多文本檔案,每個文本檔案的編碼都不一樣,豈不是針對每個讀進來的檔案都維護一個編碼信息?很繁瑣。

進一步,如果這些文本檔案的內容還要做相互的比較連接之類的操作,編碼都不一致,豈不是更麻煩?

python是怎麼聰明地解決這個問題的呢?

很簡單,就是decode!

decode的意思是說,你有一個字串,並且你知道它的編碼,只要你用該編碼decode這個字串,那麼,python就會識別出裡面的字符內容,同時,建一個int陣列,將每個字符的unicode序號存進去。
所有的字串都這樣做,就可以確保在程式運行過程中,各種來源獲得的字串都有一樣的表示。它們就可以方便地進行各種操作了。

上面說的 int陣列會被python封裝成一個物件,即unicode物件。

問題4:如何搞定?

下麵,我們在python命令列中輸入如下兩行代碼:

e = s.decode("utf-8")
isinstance(e,unicode)

程式的輸出是True,這說明,decode後傳回的e確實是一個unicode物件。
unicode在這裡是一個類,是python裡面的類。

e 被稱作unicode字串,意思是說,它存的是字符的unicode序號,並沒有使用任何編碼。

然後,我們就可以將e編碼成任意一種編碼,比如下麵的操作都是可以的

e.encode("utf-8")
e.encode("gbk")

只要你選擇的編碼能夠對e中的字符進行編碼即可,如果不能編碼,就會報錯。
比如,如果你嘗試這樣:

e.encode("ascii")

由於ASCII並不能編碼 中國 這兩個字符,所以會爆出 encode error。

至此,我們已經看到了兩種錯誤,decode error 和encode error,並解決了它們。

問題5:如何評價python的這種字符編碼處理方法?

首先,這樣的處理方法非常的簡單。任何文本,只要它進入程式時進行一次decode,就會變成unicode物件,裡面用int存著每個字符的unicode序號。只要在這個文本要輸出時再進行一次encode,編碼成我們需要的編碼就可以了。

問題是,所有的字符都用一個int來表示會不會太浪費空間?畢竟,用ASCII編碼,英文的字符只要一個位元組就可以了。

確實會費點空間,但是現在的記憶體都足夠大,而且我們只在程式內部使用這種方式,當字串要寫入檔案或者通過網絡傳輸時,我們都會進行相應的編碼的。

還有一個問題,那些寫死在程式中的字串怎麼辦?難道每次使用都要進行一次decode?不同的操作系統預設使用的編碼是不一樣的,當我們在linux下,通常需要用utf8做decode,在Windows下,通常需要用gbk做 decode。這樣,我們的代碼就只能在特定的平臺運行。

python給我們提供了一個很簡單的辦法,只要在字串前面加一個u,它就會幫我們探測系統的編碼,並自動完成decode。

問題6:總結下,學到了什麼?

本文用一個很常見的錯誤為起點,詳細分析了python中的編碼問題。我們看到了python處理字符問題的簡單之處,也能夠理解為什麼python有這麼強大的文本處理功能。

測試題:看你是否真正理解了。

假設一臺linux上有一個檔案a.txt,裡面的內容是”中文”兩個字符,編碼方式是utf-8。

現在,在python程式中寫如下陳述句:

import codec
s=""
with codec.open("a.txt",encoding="utf-8"as f:
s=f.readline().strip()

with open("b.txt","w"as f:
f.write(s)

請問這段代碼能執行嗎?為什麼?

答案:不能!
s底下的表示是unicode,寫出時python會對其進行編碼,預設用的ascii編碼無法對”中文”兩個字符進行編碼,所以會報錯!


編號526,輸入編號直達本文

●輸入m獲取文章目錄

推薦↓↓↓

Web開發

更多推薦18個技術類微信公眾號

涵蓋:程式人生、演算法與資料結構、黑客技術與網絡安全、大資料技術、前端開發、Java、Python、Web開發、安卓開發、iOS開發、C/C++、.NET、Linux、資料庫、運維等。

赞(0)

分享創造快樂