歡迎光臨
每天分享高質量文章

開學綜合症有救了!17篇最新AI論文不容錯過

在碎片化閱讀充斥眼球的時代,越來越少的人會去關註每篇論文背後的探索和思考。

 

在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。

 

點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。

這是 PaperDaily 的第 130 篇文章

@jingyihiter 推薦

#Text Generation

本文來自國防科大和微軟亞研院,文章提出 pre-training-based 的 encoder-decoder 框架,encoder 採用 BERT 將輸入序串列示為 context 向量,decoder 分為兩階段:第一階段採用 transformer-based 解碼生成偽輸出序列,第二階段對偽輸出序列進行 mask 送入 BERT 表示,將輸入序列與偽輸出序列聯合,解碼預測輸出序列。

文章首次將 BERT 應用於文本生成任務,在 CNN/Daily Mail 和 New York Times 資料集上達到 SOTA 的結果。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2855

 

@QAQ 推薦

#Language Model

本文介紹了來自 OpenAI 的新語言模型 GPT-2,其在文本生成任務上達到接近人類水平,可生成論文(並編造資料與取用使論證看上去合理)、續寫幻想故事。在多個資料集上碾壓當前結果。在未經專門訓練的情況下實現翻譯與閱讀理解。不足是會出現重覆文本與世界建模失敗(如在水下發生火災)。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2822

 

原始碼鏈接

https://github.com/openai/gpt-2

 

@rico93 推薦

#Attention Mechanism

本文來自康奈爾大學和 Facebook AI Research,論文提出的 lightweight convolution 模型相對於 transformer 來說能達到一致的水平,但只需要更少的運算元量,運算速度比 Transformer 快 20%。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2801

 

原始碼鏈接

https://github.com/pytorch/fairseq

 

 

@Ttssxuan 推薦

#Auto ML

本文來自 Google Brain,論文提出了 progressive dynamic hurdles (PDH) 神經網絡架構搜索方法,此方法能夠動態的把資源分配到相對優秀的候選者,最終得到“Evolved Transformer”,其在幾個翻譯任務(WMT 2014 English-German, WMT 2014 English-French, WMT 2014 English-Czech, LM1B)相對原始 Transformer 有一致的提升,並且有更高的計算效率和更少的引數量。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2817

@paperweekly 推薦

#Dialog System

本文是微信 AI 團隊和上海交大發表於 AAAI 2019 的工作,論文關註的任務是基於背景知識的對話生成,通過指標生成機制和註意力機制,基於對話歷史和背景知識生成更有意義的回覆。作者提出了一個泛化的指標生成機制,能同時從對話歷史和外部知識中複製物體。此外,作者還提出了一種 Cluster-based Beam Search 演算法,能在解碼時動態地將相似語意的序列分組歸類,避免生成通用回覆。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2845

 

 

@VanceChen 推薦

#Multimodal Sentiment Analysis

本文是 CMU 的 MultiComp Lab 發表在 AAAI 2019 上的工作。多模態情感分析是 NLP 的一個新的核心研究領域,研究從語言、視覺和聲學模態表達的說話人情緒。多樣式學習的核心挑戰涉及可以處理和關聯這些模態信息的推斷聯合表示。然而,現有工作通過要求所有模態作為輸入來學習聯合表示,因此,學習的表示可能對測試時的噪聲或丟失模態敏感。

隨著機器翻譯中 Seq2Seq 模型的成功,有機會探索在測試時可能不需要所有輸入模態的聯合表示的新方法。論文提出了一種通過在模態之間進行轉換來學習魯棒聯合表示的方法。論文的方法基於 Key Insight,即從源到標的模態的轉換提供了僅使用源模態作為輸入來學習聯合表示的方法。

論文使用周期一致性損失來增加模態轉換,以確保聯合表示保留所有模態的最大信息。一旦翻譯模型使用配對的多模態資料進行訓練,我們只需要在測試時從源模態獲得最終情緒預測的資料。這確保了我們的模型在其他模態中不受擾動或缺失信息的影響。

我們使用耦合的翻譯預測標的訓練我們的模型,併在多模態情緒分析資料集上實現新的最新結果:CMU-MOSI,ICT-MMMO 和 YouTube。 另外的實驗表明,我們的模型學習越來越多的判別性聯合表示,具有更多的輸入模態,同時保持對丟失或擾動模態的魯棒性。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2789

 

原始碼鏈接

https://github.com/hainow/MCTN

@paperweekly 推薦

#Object Detection

本文來自中國科學院大學和圖森未來。檢測任務中存在標的尺寸多樣化的問題,為瞭解決這一問題,涌現了很多包含 SSD、FPN、SNIP 等在內的經典演算法。基於感受野對不同尺度標的的檢測影響,作者提出了一個全新的三叉戟網絡(TridentNet)。

為了使模型對不同尺寸標的的“表達能力”近似,作者借鑒了 SNIP 的特征提取網絡,採用了“scale-aware”的並行結構。為了加快模型的推理速度,作者採用了 dilated convolution 得到不同感受野的特征圖,從而實現檢測不同尺度標的的目的,取代了 SNIP 中的特征金字塔生成不同尺度標的的做法。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2833

 

@paperweekly 推薦

#Human Pose Estimation

本文來自曠視科技,奪得 COCO Keypoints 2018 比賽冠軍。本文旨在設計出一個好的 multi-stage 的人體姿態檢測方法,隨著網絡 stage 數目增加,模型的預測能力能夠逐步提高的網絡。而不會像 Hourglass 及其它網絡一樣,增加 stage 數目並不會顯著提高模型的預測能力。作者採用了 top-down 的解決思路,將重心放在對單人關節點的檢測上。針對 multi-stage 演算法存在的問題,作者分別進行了不同的探索。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2834

 

@Phil 推薦

#Object Detection

本文來自香港中文大學、商湯科技、Amazon 和南洋理工,論文提出了一種新的 anchor 生成方法——Guided Anchoring,即通過圖像特征來指導 anchor 的生成。 通過預測 anchor 的位置和形狀,來生成稀疏而且形狀任意的 anchor,並且設計了 Feature Adaption 模塊來修正特征圖,使之與 anchor 形狀更加匹配。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2806

 

@afei 推薦

#Image Segmentation

本文提出了一種新的分割網絡——BOWDA Net。基於此網絡,作者在 MICCAI 2012 前列腺分割競賽中排行第一,結果為 state of the art。創新點有兩點:1)針對前列腺 MR 圖像邊界不清晰的問題,提出了邊界加權分割 loss,平滑了邊界;2)針對資料集小的問題,作者借鑒了遷移學習以及 GAN 的思想,解決了 source domain 和 target domain shift 的問題,值得閱讀。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2851

 

@paperweekly 推薦

#Image Inpainting

本文來自安大略理工大學,論文提出了一種全新圖像修複方法,能重構出圖像的精細細節。具體而言,作者提出了一種兩階段的對抗模型 EdgeConnect,該模型由一個邊生成器和一個圖像補全網絡組成。邊生成器將圖像確實區域的邊生成,而後圖像補全網絡以邊為先驗填補圖像。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2832

 

原始碼鏈接

https://github.com/knazeri/edge-connect

@JasonZHM 推薦

#Image Compression

利用捲積自編碼器進行圖像壓縮需要同時優化壓縮率和重構圖像質量,但由於用於表徵壓縮率的編碼比特率不可微,因此不能直接反向傳播。現有研究普遍採用額外訓練熵估計器的方法解決這個問題。

該研究則引入了來自神經網絡架構搜索領域的網絡剪枝方法,提出了 CAE-ADMM 模型,直接對壓縮後的編碼進行剪枝,在保持編碼速度的情況下,SSIM 及 MS-SSIM 的表現均超越了使用熵估計器的現有模型和傳統編碼器(JPEG、JPEG 2000 等)。該研究同時對引入的剪枝方法在模型中的效果進行了檢驗。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2803

 

原始碼鏈接

https://github.com/JasonZHM/CAE-ADMM

@zhangjun 推薦

#Bayesian Deep Learning

DNN 的不確定性量化是當前一大研究熱點,在小資料機器學習、自動駕駛、強化學習、貝葉斯優化、主動學習等領域應用廣泛。一種經典的方法是將模型引數視為隨機變數,用近似推斷的方法(比如:MCMC 類和 VI 類)扎實地求出每個引數的後驗分佈,這種方法相對準確,但計算效率較差,尤其對於引數數以億計的複雜結構網絡更加困難;另一種方法是朝著實用方向的,訓練還是基於傳統的 SGD + Dropout,在測試時對引數後驗分佈進行近似,使得模型在預測時可考慮到不確定性的影響。

本文屬於第二種思路,基於一種叫做 Stochastic Weight Averaging (SWA)的方法,即將 T 個 Epoch 中的引數作為統計資料,求平均作為引數後驗分佈的均值,方差作為分佈的方差(僅考慮後驗分佈為高斯的情況,也是大多數方法的假設。)。思路比較簡單,相對傳統的貝葉斯推斷方法,計算效率非常高。這類方法中另一個典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2815

 

原始碼鏈接

https://github.com/wjmaddox/swa_gaussian

@paperweekly 推薦

#Recommender Systems

本文是明尼蘇達大學和京東發表於 WSDM 2018 的工作。當前大多數推薦系統更註重用戶和商品之間的宏觀交互(如用戶-商品評分矩陣),很少有人會結合用戶的微觀行為資料(如瀏覽商品的時長、對商品的閱讀和評論)進行推薦。

本文從微觀行為的角度對推薦系統進行改進,作者將用戶的固有資料視為用戶和商品之間的宏觀交互,並保留了宏觀交互的順序信息,同時,每個宏觀交互都包含一系列微觀行為。具體來說,論文提出了一個全新模型——RIB,它由輸入層、Embedding 層(解決資料稀疏和資料高維的問題)、RNN 層(建模時序信息)、Attention 層(捕捉各種微觀行為影響)和輸出層組成。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2549

 

@paperweekly 推薦

#Deformable Convolution

本文來自牛津大學,論文提出了一種分佈偏移捲積 DSConv,可以輕鬆替換標準神經網絡體系結構,並實現較低的儲存器使用和較高的計算速度。DSConv 將傳統的捲積內核分解為兩個組件:可變數化內核(VQK)和分佈偏移。通過在 VQK 中僅儲存整數值來實現較低的儲存器使用和較高的速度,同時,通過應用基於內核和基於通道的分佈偏移來保持與原始捲積相同的輸出。

作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上對 ImageNet 資料集測試了 DSConv。通過將浮點運算替換為整數運算,本文方法在捲積內核中實現了高達 14x 的記憶體使用量減少,並將運算速度提高了 10 倍。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2835

@Rcypw 推薦

#Network Embedding

本文是 UIUC 和 HEC Montreal 發表於 WSDM 2018 的工作,論文開創性地將強化學習思想應用到星型異構網絡節點表示學習當中 ,利用馬爾科夫鏈去獲取最優的節點之間邊的序列。作者將獎勵計算作為節點表示的外部任務的性能作為特征,標的是採取一系列行動來最大化累積獎勵,基於長短記憶網絡利用深度強化學習模型,完成網絡表示學習。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2590

@Layumi 推薦

#Person Re-identification

現在行人重識別高準確率模型真的魯棒麽?是不是像傳統分類問題一樣容易被攻擊呢?本文提出的方法,將目前行人重識別上較高的 baseline [email protected]=88.56%, mAP=70.28% layumi/Person_reID_baseline_pytorch 降到 [email protected]=0.68%, mAP=0.72%。

對抗樣本存在於很多任務中,但如何在不同任務中構造對抗樣本是一個問題。對於 reID 來說,攻擊的方式與正常的分類不同。因為 reID 在測試的時候的類別與訓練時類別不同,沒有相同的類別(也就是測試的人和訓練的人不是同一批,Open-set)。那麼在構造對抗樣本時,傳統的降低預測概率回傳梯度方法就受限。在實驗中也有相應結果。文章提出了一種新的方法來攻擊圖像檢索(reID 是圖像檢索的一個子問題)。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2799

赞(0)

分享創造快樂