歡迎光臨
每天分享高質量文章

LeCun:智慧的精華在於預測能力!“預測學習”瞭解一下!

導讀:在NIPS 2016大會上,著名研究者LeCun提出了預測學習(predictive learning)概念。在他的講稿中,將機器學習比喻為“蛋糕”:

  • 強化學習,是蛋糕上的小櫻桃:輸入資料,輸出1個數字,代表對於獎勵的預測。

  • 有監督學習,是蛋糕的糖霜:輸入資料,輸出少量結論,例如影象的分類。

  • 無監督學習,預測學習,是蛋糕的真正本體:輸入資料,輸出同樣量級的預測。

    □ 例如:輸入部分缺失的影象,輸出將影象補充完整後的結果。

    □ 例如:輸入一段影片,輸出對於影片的未來發展的預測,如下圖所示。

預測學習很重要,而且可能是通往強人工智慧的必經之路。目前深度學習的領軍人物Hinton、LeCun、Bengio均在此投入了研究,也許它將帶來AI的下一場革命。

在筆者看來,預測學習有幾個重要特點:

1. 它需要邏輯,需要常識

例如,在預測影片的發展時,需學會物理定律(如牛頓三定律),學會不同事物的特徵(如人體的不同關節的運動方法),學會空間立體的概念(需處理物體的平移,旋轉,相互間的遮擋),等等。

  • 在推理和預測過程中,還需要記憶,包括長期和短期記憶。目前研究人員已有辦法為網路加入各種記憶模組。

2. 它的資料特別容易獲得

首先,它是無監督方法,無需人工標記。其次,網路上已經有浩如煙海的影片,截取出的每個片段都可用於訓練。而且我們還可用攝像頭輕鬆生成無窮無盡的新影片,甚至可讓AI學會主動控制攝像頭。

  • 我們還可使用遊戲引擎生成影片畫面。

3. 此前我們已看到資料對於深度學習的關鍵性

在使用海量資料訓練後,深度網路有可能會逐漸掌握邏輯和常識,改善它此前在這兩方面的缺陷,甚至自動發現物理定律。

  • “情感神經元”是很好的例證:僅僅是要求網路學會預測,網路就可自動發現深層次的規律。

4. 預測學習也有非常實際的用途

例如,在自動駕駛中,如果能預測其它車輛和行人的行為,就可以改善自動駕駛的效能和安全性。

在LeCun的講稿中,給出瞭如下公式:


智慧 = 感知 + 預測 + 記憶 + 推理和規劃


筆者將其總結為:

記憶過去,感知現在,預測未來

如果與強化學習結合,可得到如下圖所示的更完整的架構圖。這裡智慧體的標的是最小化費用,這需要透過對世界建模實現。

目前在預測學習領域已有許多有趣的工作,例如讓網路預測遊戲環境中物體的下落和碰撞軌跡(PhysNet, https://arxiv.org/abs/1603.01312),如下圖所示。

左邊是遊戲場景。右邊上排是實際的下落和碰撞情況。右邊下排是網路的預測,其中第1張影象是網路的輸入,後續3張影象都是網路的預測。

可見,網路有能力大致預測出方塊的運動情況,不過會隨著時間的推移而越來越模糊。

這是預測模型中的常見現象,是因為未來有不確定性。如下圖所示,未來有多種可能性,我們無法提前判知。

因此,如使用MSE作為擬合標的,網路會無所適從,最終造成影象模糊。

解決方法是引入GAN思想,用判別器網路判斷未來的發展是否為真。這樣網路可以給出更清晰的預測(雖然預測無法囊括未來的所有發展)

例子見https://github.com/dyelax/Adversarial_Video_Generation,其中的動畫非常有趣,推薦讀者開啟看一看。例如,對於吃豆人遊戲的畫面預測,如果不使用GAN,在經過一個岔路口時,由於網路不知道吃豆人會選擇哪個路口,因此會在畫面中同時顯示出吃豆人向上走和向下走的軌跡。

關於作者:彭博,人工智慧、量化交易、區塊鏈領域的技術專家,有20年以上的研發經驗。 在人工智慧與資訊科技方面,對深度學習、機器學習、計算機圖形學、智慧硬體等有較為深入的研究。

本文摘編自《深度摺積網路:原理與實踐》,經出版方授權釋出。

延伸閱讀《深度摺積網路:原理與實踐

轉載請聯絡微信:togo-maruko

點選文末右下角“寫留言”發表你的觀點

推薦語:20年開發經驗專家/知乎大V,從技術理論、工作原理、實踐方法等方面系統、深入講解DCNN。

推薦閱讀

Bruce Eckel:我最喜歡Python,Kotlin或將取代Java(附演講全文+PPT)

註意!有人正在計算你今天會出現在哪裡,並嘗試左右你的行為

最全Python資料工具箱:標準庫、第三方庫和外部工具都在這裡了

用《復聯3》的豆瓣評分教會你正確使用條形圖、餅圖、漏斗模型

Q: 關於預測學習你都有哪些經驗?

歡迎留言與大家分享

覺得不錯,請把這篇文章分享給你的朋友

轉載 / 投稿請聯絡:baiyu@hzbook.com

更多精彩,請在後臺點選“歷史文章”檢視

贊(0)

分享創造快樂