歡迎光臨
每天分享高質量文章

和戀愛一樣,學習也會喜新厭舊,打一頓就好了

大家好,我是一名曾經只會excel的資料分析師。

 

後來經我的同事大鵬點撥,我知道了Python資料分析,向他學習進入了一條通神之路。今天是我“略懂”Python資料分析的第200天


在這200天里,我的工作效率逐漸變高,處理資料量從千到萬,接的專案越來越複雜,老闆看我的眼神也越來越柔和,有時甚至單獨請我吃飯……看來我很快就能升職加薪!


高興之餘,我對我的Python技術能力也有點擔心,甚至陷入了一種瓶頸


1、工作中有大量的描述性統計工作,要求不高,對我這種審美捉急的人來說,excel的快速樣式有時候很關鍵。

2、我很少碰到Python能做而excel不能做的資料處理,excel很慢甚至死機,但只要電腦性能好,總能完成;

3、雖說會Python是優勢,但公司的excel普及程度很高,介於專案合作原因我總是需要用excel銜接資料合作。

 

這不免導致我對Python技能的定位產生懷疑,我稱這個現象叫非典型性Python冷淡綜合症


 

新刺激來的很快,就在今天,帶我入Python坑的同事大鵬介紹來了一個新人小覃。我很快感覺到老闆對我關愛的眼神落到了小覃身上。這不,他們正在工位電腦前談笑風生。


這怎麼行!老闆最寵的只能是我!


我決定再次展開“歡迎新人”套近乎策略,探探這位新人如此招待見的原因

 

走近他們,我先註意到了小覃電腦屏幕上有一堆貓貓狗狗照片,而小覃正在邊寫python代碼邊和老闆解釋什麼。只見他迅速寫了十幾行代碼並運行,成功地識別了圖片里的貓。


第一步:進行模型訓練,構建識別貓狗的CNN模型


第二步:測試一張測試集里的照片,確認照片的分類為貓


這看似簡單的操作卻這讓我和老闆都很好奇


我從未處理過除了CSV和JSON以外格式的資料,面對新的思路,我不禁懷疑是否自己之前太過淺薄。


而老闆一個勁的點頭,說找對了人,接下來的AI旅游小程式專案有亮點了,咱們的產品肯定會刷爆朋友圈,還一邊拿手機里的產品概念圖給小覃看:


圖中為計算機通過機器學習識別街景圖片中的行人、自行車和機動車並定位邊界。該資料有助於識別城市道路使用情況,甚至研究街道美學,能幫助使用者快速認知陌生城市。本圖來自“城室科技”,歡迎有興趣的小伙伴微信自行搜索。


看來面前是一位新大神,經驗告訴我,喂到嘴邊的大腿不能不跪,我立刻上前獻上的膝蓋,說道:覃大哥,小弟也算略懂Python,之前在公司做資料分析工作,但從沒完成過你這麼酷的操作,快教教小弟,你剛剛用Python幹了什麼?

 

覃大哥笑道:過獎了,其實剛剛就是基本的利用機器學習神經網絡演算法來識別圖片里的物件。我使用Python加載深度學習工具包Keras,構建了一個是簡單捲積神經網絡(CNN)模型進行貓狗識別,用於給老闆解釋原理。你也一起聽吧。

 

總的來說,我有一些貓狗圖片,作為訓練集資料(Training Set),它們是用於建立和優化模型的已經有標簽的原始資料。而我們也會有一些測試集資料(Test Set),用於檢驗模型。我的標的是為了構建一個模型系統,把未知貓狗標簽圖片放進這個系統進行測試,正確地給它們打上是貓還是狗的標簽。


圖為實時識別貓狗的動態位置,演算法來自 Joseph Redmon ,他研究使用計算機視覺的一種檢測系統yolo來定位他家的貓狗,相關介紹可自行搜索ted演講How computers learn to recognize objects instantly。


一個好的模型並不是一蹴而就,需要進行調整。比如我剛建立的CNN模型的準確率大概只在50%到60%,很低。因此實際應用上我們一般會投入大量精力做一些提高準確率的操作


常用的操作包括增加訓練集樣本數量、嘗試使用更多或更少的特征值、集成模型等等方法。這決定了學習機器學習必須要撿起你的數學,不過這都是後話。


分辨貓狗是業界一個成熟案例,這裡我們以一個訓練好的圖像分類模型VGG16為例,以便得到更準確的結果:


1# 搭建全連接層
2top_model = Sequential()
3top_model.add(Flatten(input_shape=vgg16_model.output_shape[1:]))
4top_model.add(Dense(256,activation='relu'))
5top_model.add(Dropout(0.5))
6top_model.add(Dense(2,activation='softmax'))
7
8model = Sequential()
9model.add(vgg16_model)
10model.add(top_model)

左右滑動查看代碼,獲取完整代碼請看文末


用此方法我們便可以更精確的辨認出貓狗。不管貓主子是何種奇特姿態,準確率都比較高,可達到85%。

 

覃大哥放下滑鼠,轉過頭來,對我和老闆說道:這是一個示例,讓大家理解機器學習的一種工作方向,這個方向被稱為“計算機視覺”,大家經常聽說的的圖像識別就是這門技術里的內容。老闆想完成旅游小程式,用計算機視覺技術研究街景必不可少。

此時的我突然茅塞頓開,這不就是我一直找尋的突破口嗎早就聽說人工智慧機器學習,但一直覺得自己數學不好沒有著手學習。現在看到演示,才發現千里之行,始於足下。


於是我立馬向他問道:覃大神,請接收小弟的仰慕,能否教我這門技術,小弟能打水能錘肩學得快!

 

覃大神這候笑了:可以啊,入門不難,有個好老師帶更是事半功倍,來網易雲課堂免費體驗一下便知:


PART 1 免費體驗課



PART 2 定時群內答疑及免費直播

群內除了有熱心的老師和同學們的答疑以外,還有更加系統、乾貨更密集的免費直播!最近就有一場:




PART 3  7.6G不可錯過的AI入行秘籍

6G Python學習資料

AI學習的必備幫手

20+部從小白到高手都能獲益的人工智慧PDF資料

含人工智慧和機器學習領域國際權威學者吳恩達手稿

6門行業權威親自授課的在線免費課程

60+篇涉及深度學習、計算機視覺各方向的論文,中英兼備,既泛且精

120+篇最新最全的AI報告

遍佈政府、證券、咨詢、IT等相關行業



領取方式

掃碼加入QQ群

群號:929246020


點擊“閱讀原文”,即可領取福利

赞(0)

分享創造快樂