資料：20篇頂級深度學習論文（附連結）-知識星球

作者：Pedro Lopez ；譯者：李海明；校對：梁傅淇；

本文約2832字，建議閱讀8分鐘。

本文講述了深度學習正值快速發展進化階段，新技術，新工具以及新的應用實現正在深刻改變著機器學習領域並不斷獲得纍纍碩果。

關鍵詞：演演算法，深度學習，機器學習，神經網路，TenorsFlow，文字分析，發展趨勢

深度學習正值快速發展進化階段，新技術，新工具以及新的應用實現正在深刻改變著機器學習領域並不斷獲得纍纍碩果。

深度學習作為機器學習和統計學習的子領域，在最近幾年取得了長足的發展進步。雲端計算，強大的開源工具以及大量可用資料已經成為這些關鍵突破的槓桿。本文以（academic.microsoft.com）網站的深度學習論文被引次數統計為依據，選取了20篇頂級深度學習論文。值得註意的是，由於論文被引次數一直處於快速更新中，因此以被引次數作為文章價值體現的判斷必須要考慮論文的發表時間。

這20篇論文有75%以上進行的是深度學習和神經網路方面的研究，特別是摺積神經網路技術。有將近50%的論文進行的是機器視覺領域的樣式識別應用研究。我相信，像TensorFlow，Theano這樣的工具以及GPU的進一步使用為資料科學家以及機器學習工程師們拓展研究領域鋪平了道路。

1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716)

連結：

https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

深度學習使得包含多處理層的計算模型能夠學到如何表示經過多層抽象的資料。這些方法顯著提升了最先進的語言識別，視覺影象識別，物體探測以及其他諸如藥物發現和基因組學的效果。

2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)

連結：http://download.tensorflow.org/paper/whitepaper2015.pdf

該系統非常靈活，可以用來表達包括深度神經網路模型的訓練和推理演演算法在內的各種演演算法，並已用於十幾個電腦科學及其他領域，包括語音識別，計算機視覺，機器人技術，資訊檢索，自然語言處理，地理資訊提取和計算藥物發現，以進行研究和部署機器學習系統到生產環境。

3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)

連結：https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf%20rel=

TensorFlow支援大量應用程式，重點是深度神經網路的訓練和推理。一些Google服務在生產中使用了TensorFlow，我們已經將其作為開源專案釋出，並且它已經在機器學習研究中予以廣泛應用。

4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (Cited: 2,196)

連結：https://arxiv.org/pdf/1404.7828.pdf

這一歷史調查簡明扼要地總結了相關工作，其中大部分來自於上一個千年。淺層和深層的學習器被其信用分配路徑的深度所區分，這些路徑是行為和效果之間可學習的、隨機關係鏈，我回顧了深度監督學習（也包括反向傳播的簡史），無監督學習，強化學習，進化計算，並間接調研了大型深度網路的編碼程式。

5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)

連結：https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf

這裡我們使用最近在訓練深度神經網路方面的進展來開發一種稱為深度Q網路的新型人工代理。它可以使用端到端強化學習直接從高維感官輸入中學習成功策略。我們在經典Atari 2600遊戲挑戰中測試了該代理。

6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)

連結：https://arxiv.org/pdf/1506.01497.pdf

在這項工作中，我們引入了一個區域提議網路（RPN），該網路與檢測網路共享全影象摺積特徵，從而實現了幾乎免費的區域提案。 RPN是一個完全摺積網路，可同時預測每個位置的物件邊界和物件評分。

7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)

連結：https://arxiv.org/pdf/1411.4389.pdf

當前模型假設了固定時空感受域或簡單的時間平均，並將其用於順序處理，反覆摺積模型具有“雙重深度”，因為它們可以在空間和時間“層”中組合。

8.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)

連結：https://arxiv.org/pdf/1412.4564.pdf

它將CNN的模組實現為易於使用的MATLAB函式，並提供了帶濾波器組、特徵池等等的程式用於計算線性摺積。檔案概述了CNN及其在MatConvNet中的實現方式，同時給出了工具箱中每個運算塊的技術細節。

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)

連結：https://arxiv.org/pdf/1511.06434.pdf

本文希望縮小無監督學習與有監督學習的CNN成功之間的差距。我們引入了被稱作深摺積生成對抗網路的一類CNN，其擁有一定的架構約束，並證明他們是無監督學習的有力候選。

10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas; B. (2015) (Cited: 975)

連結：https://arxiv.org/pdf/1505.04597.pdf

深度網路的訓練效果需要數以千計的註釋訓練樣本作為支撐已是共識。本文提出了一個依賴於資料增強的網路和訓練策略以便更有效地使用可用的註釋樣本。

11.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (Cited: 760)

連結：http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf

本文引入了一種同時包含摺積神經網路（Convolutional Neural Networks）與基於條件隨機場（Conditional Random Fields）的機率影象模型的新型摺積神經網路。為此，我們將帶有高斯對勢的條件隨機場的平均場近似推斷作為迴圈神經網路。

12.Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (Cited: 591)

連結：https://arxiv.org/pdf/1501.00092.pdf

本文使用直接學習高/低解析度影象之間的端到端對映。該對映使用摺積神經網路，將低解析度影象作為輸入並輸出高解析度影象。

13.Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (Cited: 533)

連結：https://arxiv.org/pdf/1503.08909.pdf

本文建立並評估了幾種深度神經網路架構，以整合比以前嘗試的更長時間的影片影象資訊。

14.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (Cited: 520)

連結：https://arxiv.org/pdf/1602.07261.pdf

深度摺積神經網路在近年來影象識別效能提升方面起到了核心作用。透過三個殘差和一個inception-v4的集合，我們在ImageNet 分類挑戰賽中獲得了測試集上Top-5 錯誤率3.08%的成績。

15.Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (Cited: 518)

連結：https://arxiv.org/pdf/1410.5926.pdf

本文將顯著圖計算看作是一個回歸問題。我們的方法基於多層級影象分割，最最佳化監督學習方法，以將地區特徵向量對映為顯著性分數。

16.Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (Cited: 510)

連結：https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf

本文引入了一個新的資料集，包含有360，001個關於10，738個影象的自然語言描述，即Visual Madlibs 資料集。該資料集使用已自動生成的空白填充模板收集一些標的描述，包括：人和物件，外觀，活動和互動，也包括整個場景或具有更廣泛背景的內容。

17.Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (Cited: 472)

連結：http://proceedings.mlr.press/v48/mniha16.pdf

效能最佳的方法、 actor-critic的非同步變體、超越了Atari領域的當前最佳表現，在單個多核CPU而非GPU上只需要一半的訓練時間。此外，我們展示了actor-critic的非同步變體可以成功處理各種連續的電機控制問題，以及使用視覺輸入以在隨機的3D迷宮中導航的新任務。

18.Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (Cited: 451)