歡迎光臨
每天分享高質量文章

資料 :20篇頂級深度學習論文(附鏈接)

作者:Pedro Lopez ;譯者:李海明 ;校對:梁傅淇;

本文約2832字,建議閱讀8分鐘。

本文講述了深度學習正值快速發展進化階段,新技術,新工具以及新的應用實現正在深刻改變著機器學習領域並不斷獲得纍纍碩果。

關鍵詞:演算法,深度學習,機器學習,神經網絡,TenorsFlow,文本分析,發展趨勢

深度學習正值快速發展進化階段,新技術,新工具以及新的應用實現正在深刻改變著機器學習領域並不斷獲得纍纍碩果。

深度學習作為機器學習和統計學習的子領域,在最近幾年取得了長足的發展進步。雲計算,強大的開源工具以及大量可用資料已經成為這些關鍵突破的杠桿。本文以(academic.microsoft.com)網站的深度學習論文被引次數統計為依據,選取了20篇頂級深度學習論文。值得註意的是,由於論文被引次數一直處於快速更新中,因此以被引次數作為文章價值體現的判斷必須要考慮論文的發表時間。

 

這20篇論文有75%以上進行的是深度學習和神經網絡方面的研究,特別是捲積神經網絡技術。有將近50%的論文進行的是機器視覺領域的樣式識別應用研究。我相信,像TensorFlow,Theano這樣的工具以及GPU的進一步使用為資料科學家以及機器學習工程師們拓展研究領域鋪平了道路。

 

1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716)

 

鏈接:

https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

 

深度學習使得包含多處理層的計算模型能夠學到如何表示經過多層抽象的資料。這些方法顯著提升了最先進的語言識別,視覺圖像識別,物體探測以及其他諸如藥物發現和基因組學的效果。

2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)

 

鏈接:http://download.tensorflow.org/paper/whitepaper2015.pdf


該系統非常靈活,可以用來表達包括深度神經網絡模型的訓練和推理演算法在內的各種演算法,並已用於十幾個計算機科學及其他領域,包括語音識別,計算機視覺,機器人技術,信息檢索,自然語言處理,地理信息提取和計算藥物發現,以進行研究和部署機器學習系統到生產環境。


3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)

 

鏈接:https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf%20rel=

TensorFlow支持大量應用程式,重點是深度神經網絡的訓練和推理。一些Google服務在生產中使用了TensorFlow,我們已經將其作為開源專案發佈,並且它已經在機器學習研究中予以廣泛應用。


4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (Cited: 2,196)

 

鏈接:https://arxiv.org/pdf/1404.7828.pdf

 

這一歷史調查簡明扼要地總結了相關工作,其中大部分來自於上一個千年。淺層和深層的學習器被其信用分配路徑的深度所區分,這些路徑是行為和效果之間可學習的、隨機關係鏈,我回顧了深度監督學習(也包括反向傳播的簡史),無監督學習,強化學習,進化計算,並間接調研了大型深度網絡的編碼程式。

5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)

 

鏈接:https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf

 

這裡我們使用最近在訓練深度神經網絡方面的進展來開發一種稱為深度Q網絡的新型人工代理。它可以使用端到端強化學習直接從高維感官輸入中學習成功策略。我們在經典Atari 2600游戲挑戰中測試了該代理。

 

6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)

 

鏈接:https://arxiv.org/pdf/1506.01497.pdf

 

在這項工作中,我們引入了一個區域提議網絡(RPN),該網絡與檢測網絡共享全圖像捲積特征,從而實現了幾乎免費的區域提案。 RPN是一個完全捲積網絡,可同時預測每個位置的物件邊界和物件評分。

 

7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)

 

鏈接:https://arxiv.org/pdf/1411.4389.pdf

 

當前模型假設了固定時空感受域或簡單的時間平均,並將其用於順序處理,反覆捲積模型具有“雙重深度”,因為它們可以在空間和時間“層”中組合。


8.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)

 

鏈接:https://arxiv.org/pdf/1412.4564.pdf

 

它將CNN的模塊實現為易於使用的MATLAB函式,並提供了帶濾波器組、特征池等等的程式用於計算線性捲積。文件概述了CNN及其在MatConvNet中的實現方式,同時給出了工具箱中每個運算塊的技術細節。

 

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)

 

鏈接:https://arxiv.org/pdf/1511.06434.pdf

 

本文希望縮小無監督學習與有監督學習的CNN成功之間的差距。我們引入了被稱作深捲積生成對抗網絡的一類CNN,其擁有一定的架構約束,並證明他們是無監督學習的有力候選。

 

10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas; B. (2015) (Cited: 975)

 

鏈接:https://arxiv.org/pdf/1505.04597.pdf

 

深度網絡的訓練效果需要數以千計的註釋訓練樣本作為支撐已是共識。本文提出了一個依賴於資料增強的網絡和訓練策略以便更有效地使用可用的註釋樣本。

 

11.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (Cited: 760)

 

鏈接:http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf


本文引入了一種同時包含捲積神經網絡(Convolutional Neural Networks)與基於條件隨機場(Conditional Random Fields)的概率圖像模型的新型捲積神經網絡。為此,我們將帶有高斯對勢的條件隨機場的平均場近似推斷作為迴圈神經網絡。

 

12.Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (Cited: 591)

 

鏈接:https://arxiv.org/pdf/1501.00092.pdf

 

本文使用直接學習高/低解析度圖像之間的端到端映射。該映射使用捲積神經網絡,將低解析度圖像作為輸入並輸出高解析度圖像。


13.Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (Cited: 533)


鏈接:https://arxiv.org/pdf/1503.08909.pdf


本文建立並評估了幾種深度神經網絡架構,以整合比以前嘗試的更長時間的視頻圖像信息。


14.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (Cited: 520)


鏈接:https://arxiv.org/pdf/1602.07261.pdf


深度捲積神經網絡在近年來圖像識別性能提升方面起到了核心作用。通過三個殘差和一個inception-v4的集合,我們在ImageNet 分類挑戰賽中獲得了測試集上Top-5 錯誤率3.08%的成績。


15.Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (Cited: 518)

 

鏈接:https://arxiv.org/pdf/1410.5926.pdf

 

本文將顯著圖計算看作是一個回歸問題。我們的方法基於多層級圖像分割,最優化監督學習方法,以將地區特征向量映射為顯著性分數。


16.Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (Cited: 510)


鏈接:https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf

 

本文引入了一個新的資料集,包含有360,001個關於10,738個圖像的自然語言描述,即Visual Madlibs 資料集。該資料集使用已自動生成的空白填充模板收集一些標的描述,包括:人和物件,外觀,活動和交互,也包括整個場景或具有更廣泛背景的內容。


17.Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (Cited: 472)

 

鏈接:http://proceedings.mlr.press/v48/mniha16.pdf

 

性能最佳的方法、 actor-critic的異步變體、超越了Atari領域的當前最佳表現,在單個多核CPU而非GPU上只需要一半的訓練時間。 此外,我們展示了actor-critic的異步變體可以成功處理各種連續的電機控制問題,以及使用視覺輸入以在隨機的3D迷宮中導航的新任務。


18.Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (Cited: 451)


鏈接:https://arxiv.org/pdf/1605.02688.pdf

 

Theano是一個Python庫,允許高效地定義、優化和評估涉及多維陣列的數學運算式。 自推出以來,它一直是機器學習領域使用最多的CPU和GPU數學編譯器之一,並且性能穩步提高。


19.Deep Learning Face Attributes in the Wild, by Ziwei L., Ping L., Xiaogang W. & Xiaoou T. (2015) (Cited: 401)


鏈接:https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Liu_Deep_Learning_Face_ICCV_2015_paper.pdf

 

這個框架不僅比現有技術表現好得多,而且還揭示了有關學習臉部表徵的有價值的事實: 

  • 說明瞭不同的預訓練策略如何提高人臉定位(LNet)和屬性預測(ANet)的性能; 

  • 雖然LNet的濾波器僅用圖像級屬性標簽進行微調,但它們在整個圖像上的響應映射具有強烈的臉部位置指示。


20.Character-level convolutional networks for text classification, by Xiang Z., Junbo Jake Z. & Yann L. (2015) (Cited: 401)

 

鏈接:

http://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf

 

本文提供了一個關於使用字符級捲積網絡(ConvNets)進行文本分類的經驗性探索。 我們構建了幾個大規模資料集,以表明字符級捲積網絡可以實現最先進或最具競爭力的結果。


譯者簡介:李海明  中國科學院大學在讀研究生,鐵人三項業餘運動員,熱愛音樂、藝術、生活。喜歡結交各路神仙~一起坐馳神游,一起南轅北轍。

轉自:資料派THU 公眾號;

END

版權宣告:本號內容部分來自互聯網,轉載請註明原文鏈接和作者,如有侵權或出處有誤請和我們聯繫。


關聯閱讀:

原創系列文章:

1:從0開始搭建自己的資料運營指標體系(概括篇)

2 :從0開始搭建自己的資料運營指標體系(定位篇)

3 :從0開始搭建自己的資料運營體系(業務理解篇)

4 :資料指標的構建流程與邏輯

5 :系列 :從資料指標到資料運營指標體系

6:   實戰 :為自己的公號搭建一個資料運營指標體系

7:  從0開始搭建自己的資料運營指標體系(運營活動分析)

資料運營 關聯文章閱讀:  

運營入門,從0到1搭建資料分析知識體系    

推薦 :資料分析師與運營協作的9個好習慣

乾貨 :手把手教你搭建資料化用戶運營體系

推薦 :最用心的運營資料指標解讀

乾貨 : 如何構建資料運營指標體系

從零開始,構建資料化運營體系

乾貨 :解讀產品、運營和資料三個基友關係

乾貨 :從0到1搭建資料運營體系

資料分析、資料產品 關聯文章閱讀:

乾貨 :資料分析團隊的搭建和思考

關於用戶畫像那些事,看這一文章就夠了

資料分析師必需具備的10種分析思維。

如何構建大資料層級體系,看這一文章就夠了

乾貨 : 聚焦於用戶行為分析的資料產品

如何構建大資料層級體系,看這一文章就夠了

80%的運營註定了打雜?因為你沒有搭建出一套有效的用戶運營體系

從底層到應用,那些資料人的必備技能

讀懂用戶運營體系:用戶分層和分群

做運營必須掌握的資料分析思維,你還敢說不會做資料分析

赞(0)

分享創造快樂