歡迎光臨
每天分享高質量文章

使用Python和Jupyter Notebook進行資料分析

“君之所以明者,兼聽也;其所以暗者,偏信也。”——漢·王符《潛夫論·明暗》

資料分析,不管對於個人,還是公司,都是一種核心能力。和一些資料朋友聊天時,會談及一些有效的資料分析工具。一位友人說,“我用Python,Jupyter notebook和Python相應的庫(numpy, matplotlib,seaborn和pandas等)做資料分析工作,非常有效,也很便利”。懷揣著學習和進取的心態,我立刻在google上面檢索關鍵詞:python jupyter notebook data analysis,閱讀了一些與這個主題相關的系列文章,並且積極地進行實踐之,讓自己一來熟悉jupyter notebook這個工具,二來借助這個工具實現更有效地做資料分析。同時,發現一篇用jupyter notebook做資料分析的淺顯易懂的教程,特翻譯之,以備學習之用。

譯者:王路情
作者:Wei Tang
原文鏈接:
http://www.storybench.org/getting-started-with-python-and-jupyter-notebooks-for-data-analysis/

讓我們討論一下用Python做資料分析。在本教程中,您將在使用Python和pandas探索資料集時學習一些簡單的資料分析過程。

在我們開始之前,請確保您已經為這個實踐設置了環境。請安裝Python 3.6、pandas和matplotlib。此外,我們將在本教程中使用一個Jupyter Notebook。如果您還沒有聽說過這個組合工具,那麼這一段 Linear Digressions 可以很好地解釋它們。

我將使用Anaconda,它是一個運行Python的平臺,包含一套資料分析工具。本教程將分為三個部分:問題、處理和探索。

在這裡下載本教程的Jupyter Notebook。

決定您的資料集和問題

資料分析總是從問題開始。反過來,這些將決定您收集什麼型別的資料。在本教程中,我們將探索NewsWhip在2016年11月至2017年5月期間收集的由世界500強新聞出版商發佈在Facebook上的10,000篇新聞文章的資料集。我們可能會問,哪些新聞機構在這組新聞中發表的文章最多,標題中最重要的關鍵詞是什麼。

將資料集匯入一個Jupyter Notebook

讓我們下載資料集,然後在一個Jupyter Notebook中匯入和打開它。當你把Jupyter notebook 輸入終端時,一個Jupyter Notebook會立即啟動。

接下來,你將會看到這樣的一個頁面:

接下來,單擊upload按鈕上傳資料集。然後點擊“新建”下拉選單,選擇Python [conda root]。

請跟隨我匯入本教程所需的所有包。

然後,讓我們匯入資料集

1df = pd.read_csv("file_name.csv")

通過輸入df.head(10),您可以查看該資料集中的前10行。

處理(Wrangle)

一旦我們匯入資料集之後,我們需要處理資料以幫助回答前面提到的問題。沒有一個資料集是完美的,這就是為什麼我們需要檢查這個資料集中的問題並修複它們。

讓我們輸入df.shape來檢查這個資料集中有多少列和行。

這意味著我們有10,000行和12列。接下來,輸入df.dtypes檢查每個列的資料型別。

註意到Publisher, Headline, Link, 和Date都是作為物件列出的。這是奇怪的。進一步的研究表明,它們實際上是字串,我通過輸入:

1type(df['column name'][0])

將日期列從物件轉換為日期時間

讓我們將Date的資料型別從object更改為datetime。
輸入:

1df[' Date '] = pd.to_datetime(df[' Date '])

完成後,請輸入df.types,以確保它工作。

很好,Date的資料型別現在是datetime64[ns]。接下來,讓我們檢查這個資料集中是否有缺失的值。我們會輸入:

1df.info()

註意在Keywords,在10,000行中,只有7,528行包含Keywords列中的物件。這意味著大約有2500個缺失值。這意味著這些文章沒有關鍵詞。請記住這一點,因為在討論資料分析時,我們需要包括這一點。

接下來,我們輸入df.duplicate()檢查是否有任何重覆的資料

這看起來不錯。我們不需要刪除任何重覆的資料。

探索和可視化資料

現在您已經清理了資料,您可以使用一些數學操作(如sum和count)來顯示資料中的樣式。通過使用value_counts函式,我們可以統計列中唯一值的個數。然後,我們可以呼叫結果上的plot函式來創建柱狀圖。

讓我們來算一下哪個出版商發表的文章最多。輸入:

1 df['column name’].value_counts()

我們發現BuzzFeed在資料集中發表的文章最多。為了使其可視化,我們可以使用matplotlib製作一個柱狀圖。在Jupyter notebook 中創建可視化時,有一件事非常方便,那就是matplot inline,它允許您在notebook中查看繪圖。

我們可以使用df[‘ Publisher ‘].value_counts()繪製一個簡單的柱狀圖。使用figsize改變圖的大小。

哇!這個圖有點亂。讓我們按降序來篩選前10位發佈者。

我們可以通過設置ascending = false來實現這一點,然後通過將top10[:10]分配給變數top10來獲得前Top10:

1top10 = df["Publisher"].value_counts()
2top10.sort_values(ascending=False)
3top10 = top10[:10]
4top10.plot(kind="bar")

然後,繪製變數Top10的柱狀圖:

1top10.plot(kind="bar")

很好,我們得到了第一個柱狀圖!

繪製Top20的關鍵詞

接下來,讓我們嘗試創建一個柱狀圖來顯示Keywords列中的前20個關鍵字。

這個問題有點複雜,因為關鍵字不是單個單詞,而是由逗號分隔的字串。如果不這樣做,這就是我們所可視化的:

為了獲得準確的關鍵字計數,我們需要將列拆分為單個單詞並將它們放入陣列中—在panda中稱為series。

讓我們把這一列拆成單個單詞,並把它們放到一個序列中。然後,迴圈遍歷本序列中的每個單詞,我們就可以的關鍵字的準確計數。

1keyword_count = pd.Series(np.concatenate([str(x).lower().strip().replace(' ', '').split(',')
2                                          for x in df.Keywords])).value_counts()
3keyword_count = keyword_count[keyword_count != 2472]
4keyword_count = keyword_count[keyword_count != 910]
5result = keyword_count.nlargest(20)
6result.plot(kind='bar',figsize=(12,8))
7print (keyword_count)

讓我解釋一下我寫的代碼。第一行是計算關鍵字是NULL的總數,然後將它們從序列中刪除。第二行是計算關鍵字為空的總數,然後將它們從序列中刪除。

我們可以為這個結果做一個餅狀圖。

讓我們展開這個餅狀圖以便更好地進行比較。它看起來很酷!

1labels = keyword_count = 'donaldtrump ','politics','news','uspolitics','india','culture','environment','barackobama','russia','u.s.news'
2sizes =[1723,549,388,288,236,213,205,199,170,169]
3explode =(0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.3,0.3
4fig1, ax1 = plt.subplots()
5ax1.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%',
6        shadow=True, startangle=90)
7ax1.axis('equal')  # Equal aspect ratio ensures that pie is drawn as a circle.
8
9plt.show()

為了繪製這個餅狀圖,我們需要添加一些特征。標簽是我們獲得的前10個關鍵詞;size是每個關鍵字的總數;Explode以不同的程度分割每個標簽——數字越大,差距就越大;startangle =90是我們自定義的起始角,這意味著所有東西都是逆時針旋轉90度。

希望您喜歡本教程。評論?建議嗎?請留言。

上善若水。水善利萬物而不爭,處眾人之所惡, 故幾於道。居,善地;心,善淵;與,善仁;言,善信;正,善治;事,善能;動,善時。夫唯不爭,故無尤。——老子《道德經》第八章

赞(0)

分享創造快樂