2019年迄今最佳深度學習研究進展彙總

    2019年的Q1季度剛剛過去，而深度學習技術正快速向前發展。我經常關註人工智慧技術的進步，以便及時把握最新技術的發展方向，並保持每一週都從成百上千的論文裡面選擇幾篇論文精讀。

    在這篇文章中，將把19年到目前為止閱讀過的精品論文整理起來分享給大家，來幫助有需要的朋友節省一些時間。

研究熱點 Fast Graph Representation Learning with PyTorch Geometric 

    本研究介紹了PyTorch Geometric，這是一個建立在PyTorch框架基礎上的對不規則結構的輸入資料如圖形（graphs）、點雲（point cloud）和流形（manifolds）資料進行處理的深度學習庫。除了一般的圖形資料結構和處理方法之外，它還包含關係學習和3D資料處理領域的各種最近釋出的方法。PyTorch Geometric透過利用稀疏GPU加速、提供專用CUDA內核和引入高效的小批次來處理不同大小輸入資料，實現高資料吞吐。該程式碼可在GitHub上獲得。

[相關文章：2018年最具影響力的資料科學研究論文

Mask Scoring R-CNN

    在實體分割（instance segmentation）任務中，在大多數實體分割框架中，實體分類的置信度被用作掩碼質量分數。本文研究了這一問題，提出了Mask Scoring R-CNN方法，使用網路塊（network block）來學習預測實體掩碼的質量。掩模評分策略校準掩模質量和掩模評分之間的偏差，並透過在COCO AP評估期間優先考慮更準確的掩模預測來提高實體分割效能。該程式碼可在GitHub上獲得。

High-Fidelity Image Generation with Fewer Labels

    深層生成模型正在成為現代機器學習的基石。最近關於條件生成對抗網路（conditional generative adversarial networks (GANs) ）的研究表明，學習自然影象上複雜的高維分佈是可以實現的。雖然最新的模型能夠以高解析度生成高保真、多樣的自然影象，但它們依賴於大量的標簽資料。本文從最近關於self-和semi-supervised學習的工作中獲得啟發，從而在無監督的ImageNet synthesis和條件設定方面都優於最先進的成果(SOTA)。該程式碼可在GitHub上獲得。

GCNv2：Efficient Correspondence Prediction for Real-Time SLAM

    本文提出了一個基於深度學習的網路，GCNv2，用於生成關鍵點和descriptor。GCNv2是建立在GCN模型的基礎上的，這是一個為3D projective geometry訓練設計的網路。GCNv2設計了一個二進位制descriptor向量作為ORB特徵，因此它可以很容易地在ORB-SLAM等系統中取代ORB。該程式碼可在GitHub上獲得。

[相關文章：文字分類的深度學習]

ALiPy: Active Learning in Python

    有監督的機器學習方法通常需要一大組帶標簽的訓練資料來進行模型訓練。然而，在許多實際應用中，有大量的未標記資料，但標記資料有限；並且標簽的獲取是昂貴的。主動學習（Active learning，AL）透過迭代選擇最有價值的資料，從標註器中查詢標簽來降低標註成本。本文介紹了一個用於主動學習的Python工具箱 ALiPy。該程式碼可在GitHub上獲得。

DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images

    時尚影象理解已經被深度時尚(Deep Fashion)等具有豐富標註的benchmarks所取代，深度時尚的標簽包括服裝類別、地標和消費者-商業影象對。然而，Deep Fashion有不可忽視的問題，例如每幅影象只有一件衣服、稀疏的地標(僅4~8個)、沒有每畫素的mask，這與現實世界的場景有很大的差距。本文透過介紹Deep Fashion2來解決這些問題，從而填補了這一空白。它是四項任務的通用基準，包括衣服檢測、姿勢估計、分割和檢索。該程式碼可在GitHub上獲得。

The StarCraft Multi-Agent Challenge

    近年來，深度多智慧體強化學習已經成為一個非常活躍的研究領域。這一領域中一個特別具有挑戰性的問題是部分可觀察的、合作的、多智慧體學習，在這種學習中，智慧體團隊必須學會協調他們的行為，同時只以他們的個人觀察為條件。這是一個有吸引力的研究領域，因為這樣的問題與許多現實世界的系統相關，並且比一般sum問題更易於評估。ALE和MuJoCo等標準化環境已經允許單agent RL超越toy domain，如grid world。然而，合作多智慧體學習並沒有可比的基準。因此，這一領域的大多數論文使用一次性toy問題，這使得很難衡量真正的進展。這篇論文提出星際爭霸多智慧體挑戰賽(StarCraft Multi-Agent Challenge，SMAC)作為填補這一空白的基準問題空白。該程式碼可在GitHub上獲得。

Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

    多層神經網路在文字、語音和影象處理的多種基準任務上取得了顯著的進步。眾所周知，分層模型中的非線性引數估計容易受到過擬合和誤定的影響。對這些估計和相關問題(區域性最小值、共線性、特徵發現等)的一種方法被稱為dropout。Dropout演演算法在每次更新前根據機率為p的伯努利隨機變數移除hidden unit，對網路產生隨機“衝擊”，這些衝擊在更新過程中平均。這篇論文表明，dropout是一個更一般的模型的特例，這個模型最初發表於1990年，被稱為隨機增量規則(Stochastic Delta Rule)。該程式碼可在GitHub上獲得。

Lingvo：a Modular and Scalable Framework for Sequence-to-Sequence Modeling

    Lingvo是一個Tensorflow框架，為協作式(collaborative)深度學習研究提供了一個完整的解決方案，特別關註序列到序列模型。Lingvo模型由靈活且易於擴充套件的模組化構建模組組成，實驗配置集中且高度可定製。框架內直接支援分散式訓練和量化推理，它包含大量實用程式、輔助函式和最新研究思想的現有實現。在過去的兩年裡，Lingvo已經被數十名研究人員在20多篇論文中合作使用。本文概述了Lingvo的底層設計，並介紹了框架的各個部分，同時還提供了展示框架功能的高階功能示例。該程式碼可在GitHub上獲得。

Adaptive Gradient Methods with Dynamic Bound of Learning Rate

    自適應最佳化方法，如AdaGrad、RMSProp和Adam，已經被提出來實現一個快速的訓練過程，不同的元素具有不同的學習速率。儘管非常流行，他們被觀察到與SGD相比泛化能力較差，或者甚至由於不穩定和極端學習率可能導致不收斂。這篇論文證明瞭極端的學習率會導致糟糕的表現。提供了新的Adam和AMSGrad變體，分別稱為AdaBound和AMSBound，它們利用學習速率的動態界限來實現從自適應方法到SGD的逐步平滑過渡，並給出了收斂性的理論證明。對各種流行的任務和模型進行了進一步的實驗。實驗結果表明，新的變異可以消除自適應方法和遺傳演演算法之間的泛化差距，同時在訓練初期保持較高的學習速度。該程式碼可在GitHub上獲得。