歡迎光臨
每天分享高質量文章

11個Python Pandas小技巧讓你的工作更高效(附程式碼實體)

作者:Shiu-TangLi 翻譯:吳振東 校對:王雨桐

本文約1800字,建議閱讀6分鐘。

本文為你介紹Pandas隱藏的炫酷小技巧,我相信這些會對你有所幫助。

或許本文中的某些命令你早已知曉,只是沒意識到它還有這種開啟方式。

Pandas是一個在Python中廣泛應用的資料分析包。市面上有很多關於Pandas的經典教程,但本文介紹幾個隱藏的炫酷小技巧,我相信這些會對你有所幫助。

 

1. read_csv

這是讀取資料的入門級命令。當要你所讀取的資料量特別大時,試著加上這個引數 nrows = 5,就可以在載入全部資料前先讀取一小部分資料。如此一來,就可以避免選錯分隔符這樣的錯誤啦(資料不一定都是用逗號來分隔)。

(或者在linux系統中,你可以使用‘head’來展示任意文字檔案的前五行:head -c 5 data.txt

接下來,用 df.columns.tolist() 可以提取每一列並轉換成list。還可以加上 usecols = [‘c1’, ‘c2’, … ]來載入所需要的指定列。另外,如果你知道某些列的型別,你可以加上dtype = {‘c1’: str, ‘c2’: int, …} ,這樣會加快載入的速度。加入這些引數的另一大好處是,如果這一列中同時含有字串和數值型別,而你提前宣告把這一列看作是字串,那麼這一列作為主鍵來融合多個表時,就不會報錯了。

 

2. select_dtypes

如果已經在Python中完成了資料的預處理,這個命令可以幫你節省一定的時間。在讀取了表格之後,每一列的預設資料型別將會是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以觀察一下大致情況,使用:

df.dtypes.value_counts()

來瞭解你的dataframe的每項資料型別,然後再使用:

df.select_dtypes(include=['float64''int64'])

獲取一個僅由數值型別組成的sub-dataframe。

 

3. copy

如果你沒聽說過它的話,我不得強調它的重要性。輸入下麵的命令:

import pandas as pddf1 = pd.DataFrame({ 'a':[0,0,0], 'b': [1,1,1]})df2 = df1df2['a'] = df2['a'] + 1df1.head()

你會發現df1已經發生了改變。這是因為df2 = df1並不是生成一個df1的複製品並把它賦值給df2,而是設定一個指向df1的指標。所以只要是針對df2的改變,也會相應地作用在df1上。為瞭解決這個問題,你既可以這樣做:

df2 = df1.copy()

也可以這樣做:

from copy import deepcopydf2 = deepcopy(df1)

4. map

這個炫酷的命令讓你的資料轉換變得輕鬆。首先定義一個

dictionary,“key”是轉換前的舊值,而“values”是轉換後的新值。

level_map = {1: 'high', 2: 'medium', 3: 'low'}df['c_level'] = df['c'].map(level_map)

幾個適用情景:把True、False,轉換成1、0(為了建模);定義級別;使用字典編碼。

 

5. 用不用apply?

如果我們想在現有幾列的基礎上生成一個新列,並一同作為輸入,那麼有時apply函式會相當有幫助。

def rule(x, y):    if x == 'high' and y > 10:         return 1    else:         return 0df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]})df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis =  1)df.head()

在上面的程式碼中,我們定義了一個有兩個輸入變數的函式,並依靠apply函式使其作用到列“c1”和“c2”上。

 

但是apply函式在有些情況下實在是太慢了。如果你是想計算“c1”和“c2”列的最大值,你當然可以這樣去做:

df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)

但你會發現相比於以下命令,apply實在是慢太多了:

df['maximum'] = df[['c1','c2']].max(axis =1)

結論:如果你可以採用其他內建函式(他們一般速度更快),請不要使用apply。比如說,如果你想把“c”列的值近似取整,那麼請用round(df[‘c’], 0)或df[‘c’],round(0)而不是上文的apply函式。

 

7. value counts

這個命令用於檢查值的分佈。你想要檢查下“c”列中出現的值以及每個值所出現的頻率,可以使用:

df['c'].value_counts(

下麵是一些有用的小技巧/引數:

  • normalize = True:檢視每個值出現的頻率而不是頻次數。

  • dropna = False: 把缺失值也保留在這次統計中。

  • sort = False: 將資料按照值來排序而不是按照出現次數排序。

  • df[‘c].value_counts().reset_index(): 將這個統計表轉換成pandas的dataframe並且進行處理。

 

8. 缺失值的數量

當構建模型時,我們可能會去除包含過多缺失值或是全部是缺失值的行。這時可以使用.isnull()和.sum()來計算指定列缺失值的數量。

import pandas as pdimport numpy as npdf = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]})df = df[['id', 'c1', 'c2']]df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1)df.head()

9. 依據指定ID來選取行

在SQL中我們可以使用      SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)來獲取含有指定ID的記錄。如果你也想在Pandas中做類似的事情,你可以使用:

df_filter = df['ID'].isin(['A001','C022',...])df[df_filter]

10. 基於分位數分組

面對一列數值,你想將這一列的值進行分組,比如說最前面的5%放入組別一,5-20%放入組別二,20%-50%放入組別三,最後的50%放入組別四。當然,你可以使用pandas.cut,但你也可以使用下麵這種選擇:

import numpy as npcut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]]df['group'] = 1for i in range(3):    df['group'] = df['group'] + (df['c'] < cut_points[i])# or <= cut_points[i]

這種方法的執行速度很快(並沒有使用到apply函式)。

 

11. to_csv

這又是一個大家都會用的命令。我想在這裡列出兩個小技巧。首先是

print(df[:5].to_csv())

你可以使用這個命令打印出將要輸出檔案中的前五行記錄。

另一個技巧是用來處理整數值和缺失值混淆在一起的情況。如果一列含有缺失值和整數值,那麼這一列的資料型別會變成float而不是int。當匯出表格時,你可以加上float_format=‘%.0f’以便將所有的浮點數近似成整數。當你想把所有列的輸出值都變成整數格式時,就可以使用這個技巧,這樣一來你就會告別所有數值後帶“.0”的煩惱。

原文標題:

10 PythonPandas tricks that make your work more efficient

原文連結:

https://towardsdatascience.com/10-python-pandas-tricks-that-make-your-work-more-efficient-2e8e483808ba

譯者簡介:吳振東,法國洛林大學計算機與決策專業碩士。現從事人工智慧和大資料相關工作,以成為資料科學家為終生奮鬥標的。來自山東濟南,不會開挖掘機,但寫得了Java、Python和PPT。

轉自:資料派THU 公眾號;

版權宣告:本號內容部分來自網際網路,轉載請註明原文連結和作者,如有侵權或出處有誤請和我們聯絡。

    已同步到看一看
    贊(0)

    分享創造快樂