歡迎光臨
每天分享高質量文章

Python 資料處理庫 pandas 入門教程

(點擊上方公眾號,可快速關註)


來源:強波的技術博客

qiangbo.space/2018-02-15/pandas_tutorial/


pandas是一個Python語言的軟體包,在我們使用Python語言進行機器學習編程的時候,這是一個非常常用的基礎編程庫。本文是對它的一個入門教程。

pandas提供了快速,靈活和富有表現力的資料結構,目的是使“關係”或“標記”資料的工作既簡單又直觀。它旨在成為在Python中進行實際資料分析的高級構建塊。

入門介紹

pandas適合於許多不同型別的資料,包括:

  • 具有異構型別列的表格資料,例如SQL表格或Excel資料

  • 有序和無序(不一定是固定頻率)時間序列資料。

  • 具有行列標簽的任意矩陣資料(均勻型別或不同型別)

  • 任何其他形式的觀測/統計資料集。

由於這是一個Python語言的軟體包,因此需要你的機器上首先需要具備Python語言的環境。關於這一點,請自行在網絡上搜索獲取方法。

關於如何獲取pandas請參閱官網上的說明:pandas Installation。

通常情況下,我們可以通過pip來執行安裝:

sudo pip3 install pandas


或者通過conda 來安裝pandas:


conda install pandas


目前(2018年2月)pandas的最新版本是v0.22.0(發佈時間:2017年12月29日)。

我已經將本文的原始碼和測試資料放到Github上: pandas_tutorial ,讀者可以前往獲取。

另外,pandas常常和NumPy一起使用,本文中的原始碼中也會用到NumPy。

建議讀者先對NumPy有一定的熟悉再來學習pandas,我之前也寫過一個NumPy的基礎教程,參見這裡:Python 機器學習庫 NumPy 教程

核心資料結構

pandas最核心的就是SeriesDataFrame兩個資料結構。

這兩種型別的資料結構對比如下:

名稱 維度 說明
Series 1維 帶有標簽的同構型別陣列
DataFrame 2維 表格結構,帶有標簽,大小可變,且可以包含異構的資料列

DataFrame可以看做是Series的容器,即:一個DataFrame中可以包含若干個Series。

註:在0.20.0版本之前,還有一個三維的資料結構,名稱為Panel。這也是pandas庫取名的原因:pan(el)-da(ta)-s。但這種資料結構由於很少被使用到,因此已經被廢棄了。

Series

由於Series是一維結構的資料,我們可以直接通過陣列來創建這種資料,像這樣:

# data_structure.py

 

import pandas as pd

import numpy as np

 

series1 = pd.Series([1, 2, 3, 4])

print(“series1:\n{}\n”.format(series1))


這段代碼輸出如下:


series1:

0    1

1    2

2    3

3    4

dtypeint64


這段輸出說明如下:

  • 輸出的最後一行是Series中資料的型別,這裡的資料都是int64型別的。

  • 資料在第二列輸出,第一列是資料的索引,在pandas中稱之為Index

我們可以分別打印出Series中的資料和索引:

# data_structure.py

 

print(“series1.values: {}\n”.format(series1.values))

 

print(“series1.index: {}\n”.format(series1.index))


這兩行代碼輸出如下:


series1.values[1 2 3 4]

 

series1.indexRangeIndex(start=0, stop=4, step=1)


如果不指定(像上面這樣),索引是[1, N-1]的形式。不過我們也可以在創建Series的時候指定索引。索引未必一定需要是整數,可以是任何型別的資料,例如字串。例如我們以七個字母來映射七個音符。索引的目的是可以通過它來獲取對應的資料,例如下麵這樣:


# data_structure.py

 

series2 = pd.Series([1, 2, 3, 4, 5, 6, 7],

    index=[“C”, “D”, “E”, “F”, “G”, “A”, “B”])

print(“series2:\n{}\n”.format(series2))

print(“E is {}\n”.format(series2[“E”]))


這段代碼輸出如下:


series2:

C    1

D    2

E    3

F    4

G    5

A    6

B    7

dtypeint64

 

E is 3


DataFrame

下麵我們來看一下DataFrame的創建。我們可以通過NumPy的接口來創建一個4×4的矩陣,以此來創建一個DataFrame,像這樣:

# data_structure.py

 

df1 = pd.DataFrame(np.arange(16).reshape(4,4))

print(“df1:\n{}\n”.format(df1))


這段代碼輸出如下:


df1:

    0   1   2   3

0   0   1   2   3

1   4   5   6   7

2   8   9  10  11

3  12  13  14  15


從這個輸出我們可以看到,預設的索引和列名都是[0, N-1]的形式。

我們可以在創建DataFrame的時候指定列名和索引,像這樣:

# data_structure.py

 

df2 = pd.DataFrame(np.arange(16).reshape(4,4),

    columns=[“column1”, “column2”, “column3”, “column4”],

    index=[“a”, “b”, “c”, “d”])

print(“df2:\n{}\n”.format(df2))


這段代碼輸出如下:


df2:

   column1  column2  column3  column4

a        0        1        2        3

b        4        5        6        7

c        8        9       10       11

d       12       13       14       15


我們也可以直接指定列資料來創建DataFrame:


# data_structure.py

 

df3 = pd.DataFrame({“note” : [“C”, “D”, “E”, “F”, “G”, “A”, “B”],

    “weekday”[“Mon”, “Tue”, “Wed”, “Thu”, “Fri”, “Sat”, “Sun”]})

print(“df3:\n{}\n”.format(df3))


這段代碼輸出如下:


df3:

  note weekday

0    C     Mon

1    D     Tue

2    E     Wed

3    F     Thu

4    G     Fri

5    A     Sat

6    B     Sun


請註意:

  • DataFrame的不同列可以是不同的資料型別

  • 如果以Series陣列來創建DataFrame,每個Series將成為一行,而不是一列

例如:

# data_structure.py

 

noteSeries = pd.Series([“C”, “D”, “E”, “F”, “G”, “A”, “B”],

    index=[1, 2, 3, 4, 5, 6, 7])

weekdaySeries = pd.Series([“Mon”, “Tue”, “Wed”, “Thu”, “Fri”, “Sat”, “Sun”],

    index=[1, 2, 3, 4, 5, 6, 7])

df4 = pd.DataFrame([noteSeries, weekdaySeries])

print(“df4:\n{}\n”.format(df4))

 

df4的輸出如下:


df4:

     1    2    3    4    5    6    7

0    C    D    E    F    G    A    B

1  Mon  Tue  Wed  Thu  Fri  Sat  Sun


我們可以通過下麵的形式給DataFrame添加或者刪除列資料:


# data_structure.py

 

df3[“No.”] = pd.Series([1, 2, 3, 4, 5, 6, 7])

print(“df3:\n{}\n”.format(df3))

 

del df3[“weekday”]

print(“df3:\n{}\n”.format(df3))


這段代碼輸出如下:


df3:

  note weekday  No.

0    C     Mon    1

1    D     Tue    2

2    E     Wed    3

3    F     Thu    4

4    G     Fri    5

5    A     Sat    6

6    B     Sun    7

 

df3:

  note  No.

0    C    1

1    D    2

2    E    3

3    F    4

4    G    5

5    A    6

6    B    7


Index物件與資料訪問

pandas的Index物件包含了描述軸的元資料信息。當創建Series或者DataFrame的時候,標簽的陣列或者序列會被轉換成Index。可以通過下麵的方式獲取到DataFrame的列和行的Index物件:

# data_structure.py

 

print(“df3.columns\n{}\n”.format(df3.columns))

print(“df3.index\n{}\n”.format(df3.index))


這兩行代碼輸出如下:


df3.columns

Index([‘note’, ‘No.’], dtype=‘object’)

 

df3.index

RangeIndex(start=0, stop=7, step=1)


請註意:

  • Index並非集合,因此其中可以包含重覆的資料

  • Index物件的值是不可以改變,因此可以通過它安全的訪問資料

DataFrame提供了下麵兩個運算子來訪問其中的資料:

  • loc:通過行和列的索引來訪問資料

  • iloc:通過行和列的下標來訪問資料

例如這樣:

# data_structure.py

 

print(“Note C, D is:\n{}\n”.format(df3.loc[[0, 1], “note”]))

print(“Note C, D is:\n{}\n”.format(df3.iloc[[0, 1], 0]))


第一行代碼訪問了行索引為0和1,列索引為“note”的元素。第二行代碼訪問了行下標為0和1(對於df3來說,行索引和行下標剛好是一樣的,所以這裡都是0和1,但它們卻是不同的含義),列下標為0的元素。

這兩行代碼輸出如下:

Note C, D is:

0    C

1    D

Namenote, dtypeobject

 

Note C, D is:

0    C

1    D

Namenote, dtypeobject


檔案操作

pandas庫提供了一系列的read_函式來讀取各種格式的檔案,它們如下所示:

  • read_csv

  • read_table

  • read_fwf

  • read_clipboard

  • read_excel

  • read_hdf

  • read_html

  • read_json

  • read_msgpack

  • read_pickle

  • read_sas

  • read_sql

  • read_stata

  • read_feather

讀取Excel檔案

註:要讀取Excel檔案,還需要安裝另外一個庫:xlrd

通過pip可以這樣完成安裝:

sudo pip3 install xlrd


安裝完之後可以通過pip查看這個庫的信息:


$  pip3 show xlrd

Namexlrd

Version1.1.0

SummaryLibrary for developers to extract data from Microsoft Excel (tm) spreadsheet files

Homepagehttp://www.python-excel.org/

AuthorJohn Machin

Authoremailsjmachin@lexicon.net

LicenseBSD

Location: /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/sitepackages

Requires:


接下來我們看一個讀取Excel的簡單的例子


# file_operation.py

 

import pandas as pd

import numpy as np

 

df1 = pd.read_excel(“data/test.xlsx”)

print(“df1:\n{}\n”.format(df1))


這個Excel的內容如下:


df1:

   C  Mon

0  D  Tue

1  E  Wed

2  F  Thu

3  G  Fri

4  A  Sat

5  B  Sun


註:本文的代碼和資料檔案可以通過文章開頭提到的Github倉庫獲取。

讀取CSV檔案

下麵,我們再來看讀取CSV檔案的例子。

第一個CSV檔案內容如下

$ cat test1.csv

C,Mon

D,Tue

E,Wed

F,Thu

G,Fri

A,Sat


讀取的方式也很簡單:


# file_operation.py

 

df2 = pd.read_csv(“data/test1.csv”)

print(“df2:\n{}\n”.format(df2))


我們再來看第2個例子,這個檔案的內容如下:


$ cat test2.csv

C|Mon

D|Tue

E|Wed

F|Thu

G|Fri

A|Sat


嚴格的來說,這並不是一個CSV檔案了,因為它的資料並不是通過逗號分隔的。在這種情況下,我們可以通過指定分隔符的方式來讀取這個檔案,像這樣:


# file_operation.py

 

df3 = pd.read_csv(“data/test2.csv”, sep=“|”)

print(“df3:\n{}\n”.format(df3))


實際上,read_csv支持非常多的引數用來調整讀取的引數,如下表所示:

引數 說明
path 檔案路徑
sep或者delimiter 欄位分隔符
essay-header 列名的行數,預設是0(第一行)
index_col 列號或名稱用作結果中的行索引
names 結果的列名稱串列
skiprows 從起始位置跳過的行數
na_values 代替NA的值序列
comment 以行結尾分隔註釋的字符
parse_dates 嘗試將資料解析為datetime。預設為False
keep_date_col 如果將列連接到解析日期,保留連接的列。預設為False
converters 列的轉換器
dayfirst 當解析可以造成歧義的日期時,以內部形式儲存。預設為False
data_parser 用來解析日期的函式
nrows 從檔案開始讀取的行數
iterator 傳回一個TextParser物件,用於讀取部分內容
chunksize 指定讀取塊的大小
skip_footer 檔案末尾需要忽略的行數
verbose 輸出各種解析輸出的信息
encoding 檔案編碼
squeeze 如果解析的資料只包含一列,則傳回一個Series
thousands 千數量的分隔符

詳細的read_csv函式說明請參見這裡:pandas.read_csv

處理無效值

現實世界並非完美,我們讀取到的資料常常會帶有一些無效值。如果沒有處理好這些無效值,將對程式造成很大的干擾。

對待無效值,主要有兩種處理方法:直接忽略這些無效值;或者將無效值替換成有效值。

下麵我先創建一個包含無效值的資料結構。然後通過pandas.isna函式來確認哪些值是無效的:

# process_na.py

 

import pandas as pd

import numpy as np

 

df = pd.DataFrame([[1.0, np.nan, 3.0, 4.0],

                  [5.0, np.nan, np.nan, 8.0],

                  [9.0, np.nan, np.nan, 12.0],

                  [13.0, np.nan, 15.0, 16.0]])

 

print(“df:\n{}\n”.format(df));

print(“df:\n{}\n”.format(pd.isna(df)));****


這段代碼輸出如下:


df:

      0   1     2     3

0   1.0 NaN   3.0   4.0

1   5.0 NaN   NaN   8.0

2   9.0 NaN   NaN  12.0

3  13.0 NaN  15.0  16.0

 

df:

       0     1      2      3

0  False  True  False  False

1  False  True   True  False

2  False  True   True  False

3  False  True  False  False


忽略無效值

我們可以通過pandas.DataFrame.dropna函式拋棄無效值:

# process_na.py

 

print(“df.dropna():\n{}\n”.format(df.dropna()));

 

註:dropna預設不會改變原先的資料結構,而是傳回了一個新的資料結構。如果想要直接更改資料本身,可以在呼叫這個函式的時候傳遞引數 inplace = True

對於原先的結構,當無效值全部被拋棄之後,將不再是一個有效的DataFrame,因此這行代碼輸出如下:

df.dropna():

Empty DataFrame

Columns[0, 1, 2, 3]

Index[]


我們也可以選擇拋棄整列都是無效值的那一列:


# process_na.py

 

print(“df.dropna(axis=1, how=’all’):\n{}\n”.format(df.dropna(axis=1, how=‘all’)));


註:axis=1表示列的軸。how可以取值’any’或者’all’,預設是前者。

這行代碼輸出如下:

df.dropna(axis=1, how=‘all’):

      0     2     3

0   1.0   3.0   4.0

1   5.0   NaN   8.0

2   9.0   NaN  12.0

3  13.0  15.0  16.0


替換無效值

我們也可以通過fillna函式將無效值替換成為有效值。像這樣:

# process_na.py

 

print(“df.fillna(1):\n{}\n”.format(df.fillna(1)));


這段代碼輸出如下:


df.fillna(1):

      0    1     2     3

0   1.0  1.0   3.0   4.0

1   5.0  1.0   1.0   8.0

2   9.0  1.0   1.0  12.0

3  13.0  1.0  15.0  16.0


將無效值全部替換成同樣的資料可能意義不大,因此我們可以指定不同的資料來進行填充。為了便於操作,在填充之前,我們可以先通過rename方法修改行和列的名稱:


# process_na.py

 

df.rename(index={0‘index1’, 1‘index2’, 2‘index3’, 3‘index4’},

          columns={0‘col1’, 1‘col2’, 2‘col3’, 3‘col4’},

          inplace=True);

df.fillna(value={‘col2’2}, inplace=True)

df.fillna(value={‘col3’7}, inplace=True)

print(“df:\n{}\n”.format(df));


這段代碼輸出如下:


df:

        col1  col2  col3  col4

index1   1.0   2.0   3.0   4.0

index2   5.0   2.0   7.0   8.0

index3   9.0   2.0   7.0  12.0

index4  13.0   2.0  15.0  16.0


處理字串

資料中常常牽涉到字串的處理,接下來我們就看看pandas對於字串操作。

Seriesstr欄位包含了一系列的函式用來處理字串。並且,這些函式會自動處理無效值。

下麵是一些實體,在第一組資料中,我們故意設置了一些包含空格字串:

# process_string.py

 

import pandas as pd

 

s1 = pd.Series([‘ 1’, ‘2 ‘, ‘ 3 ‘, ‘4’, ‘5’]);

print(“s1.str.rstrip():\n{}\n”.format(s1.str.lstrip()))

print(“s1.str.strip():\n{}\n”.format(s1.str.strip()))

print(“s1.str.isdigit():\n{}\n”.format(s1.str.isdigit()))


在這個實體中我們看到了對於字串strip的處理以及判斷字串本身是否是數字,這段代碼輸出如下:


s1.str.rstrip():

0     1

1    2

2    3

3     4

4     5

dtypeobject

 

s1.str.strip():

0    1

1    2

2    3

3    4

4    5

dtypeobject

 

s1.str.isdigit():

0    False

1    False

2    False

3     True

4     True

dtypebool


下麵是另外一些示例,展示了對於字串大寫,小寫以及字串長度的處理:


# process_string.py

 

s2 = pd.Series([‘Stairway to Heaven’, ‘Eruption’, ‘Freebird’,

                    ‘Comfortably Numb’, ‘All Along the Watchtower’])

print(“s2.str.lower():\n{}\n”.format(s2.str.lower()))

print(“s2.str.upper():\n{}\n”.format(s2.str.upper()))

print(“s2.str.len():\n{}\n”.format(s2.str.len()))


該段代碼輸出如下:


s2.str.lower():

0          stairway to heaven

1                    eruption

2                    freebird

3            comfortably numb

4    all along the watchtower

dtypeobject

 

s2.str.upper():

0          STAIRWAY TO HEAVEN

1                    ERUPTION

2                    FREEBIRD

3            COMFORTABLY NUMB

4    ALL ALONG THE WATCHTOWER

dtypeobject

 

s2.str.len():

0    18

1     8

2     8

3    16

4    24

dtypeint64


結束語

本文是pandas的入門教程,因此我們只介紹了最基本的操作。對於

  • MultiIndex/Advanced Indexing

  • Merge, join, concatenate

  • Computational tools

之類的高級功能,以後有機會我們再來一起學習。

讀者也可以根據下麵的鏈接獲取更多的知識。

參考資料與推薦讀物

  • pandas官方網站

  • Python for Data Analysis

  • Pandas Tutorial: Data analysis with Python: Part 1


看完本文有收穫?請轉發分享給更多人

關註「資料分析與開發」,提升資料技能

赞(0)

分享創造快樂