歡迎光臨
每天分享高質量文章

本周值得讀的15篇AI論文,還有原始碼搭配服用

在碎片化閱讀充斥眼球的時代,越來越少的人會去關註每篇論文背後的探索和思考。

 

在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。

 

點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。

這是 PaperDaily 的第 131 篇文章

@jingyihiter 推薦

#Neural Sequence Generation

本文是自動化所張家俊老師發表於 TACL 2019 的工作,論文研究的問題是在序列生成任務的解碼過程中如何進行雙向解碼。文章提出一種新的 beam search 演算法用於雙向解碼,提出了改進 transformer 進行雙向解碼的 BIFT model,在機器翻譯和文本摘要任務上都取得明顯的提升。文中分別給出了詳細的實驗,並附有開源實現代碼。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2867

 

原始碼鏈接

https://github.com/ZNLP/sb-nmt

 

@paperweekly 推薦

#Abstractive Summarization

本文來自 NAACL-HLT 2019,論文提出了一個名為多級儲存網絡(MMN)的生成式摘要模型,直接用多級捲積儲存器代替基於 RNN 的編碼器。該模型利用捲積來控制多級句子,段落和整個文本中的表示程度。

此外,本文還貢獻了一個大型抽象摘要資料集—Reddit TIFU,包含來自 Reddit 的 120K 個帖子。基於 AMT 的定量評估和用戶研究,本文模型在 Reddit TIFU 和新聞類生成式摘要資料集上均優於當前最先進的抽象概括方法。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2901

 

原始碼鏈接

https://github.com/ctr4si/MMN

 

@stevewyl 推薦

#Natural Language Understanding

本文來自微軟,論文提出將多任務學習(MTL)和語言模型進行結合,提升了 NLU 領域的 GLUE 榜單 1.8%。本文是基於多任務學習框架和特征共享層硬連接的方式實現的,將原有 MT-DNN 模型中的特征表示層,替換為目前大熱的 BERT。與 BERT 不同的是,微調是在多個任務上同時進行的。

本文是在 BERT 的基礎上比較成功的一次探索,後續可以考慮任務之間的相關性。BERT 和 MTL 的結合可能是接下來的一個研究熱點。 不足之處是沒有重大創新,MTL 的使用比較簡單,有提升空間。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2809

 

原始碼鏈接

https://github.com/namisan/mt-dnn

 

 

@Hutommy 推薦

#Dialogue Systems

本文是波恩大學和波鴻魯爾大學發表於 CoNLL 2018 的工作,論文基本說明瞭對話系統的類別,而且介紹了 RNN,BiRNN 以及 GRU 的思想。此外,本文結合了外部知識增加了一種機制,提高處理較低頻的字詞的能力。同時結合了領域關鍵字描述編碼,在多回合對話中有所幫助。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2838

原始碼鏈接

https://github.com/SmartDataAnalytics/AK-DE-biGRU

@chunhualiu 推薦

#Story Ending Generation

本文是清華大學黃民烈老師組發表於 AAAI 2019 的工作,論文提供了一種如何利用常識知識做故事結尾生成的新思路。作者提出利用增量編碼的方式來對 RocStories 資料集中的 context 進行編碼,並且將從 ConceptNet 中檢索得到的知識進行編碼,利用 multi-source attention 的方式融合到 context 的編碼過程中。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2775

原始碼鏈接

https://github.com/JianGuanTHU/StoryEndGen

 

 

@paperweekly 推薦

#Named Entity Recognition

本文是曼徹斯特大學和豐田工業大學發表於 NAACL 2018 的工作,論文提出了一種由 flat NER layers 動態連續堆疊而成的神經網絡模型,每個 flat NER layer 含有一個 BiLSTM 和 CRF 分別進行輸入編碼和標簽預測,整體模型為 Layered-BiLSTM-CRF。

當前 flat layer 將已被識別為物體的 token 經過 LSTM 處理的新表示合併起來,傳遞給下一個 flat layer,從而使得模型能以從內到外的方式,充分利用內部物體編碼信息識別出外部物體,直到沒有更外部的物體被識別出來。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2696

 

原始碼鏈接

https://github.com/meizhiju/layered-bilstm-crf

@xiaolu 推薦

#Visual Question Answering

本文是一篇來自港中文、清華大學等機構的最新 VQA 論文,被 CVPR 2019 接收為口頭報告。Github 上已經有人復現了該工作。

學習多模態之間的高效特征融合是視覺問答問題的核心,本文提出了一種動態融合多模態特征的新方法,通過模態內(intra-modality )和模態間(inter-modality)的信息流,交替地在視覺和語言模態之間傳遞動態信息。它可以穩健地捕獲語言和視覺域之間的高層次語意交互,從而顯著提高視覺問答的性能。 

本文還發現,基於其它模態的約束,一種模態內的註意力可以動態調節標的模態的註意力。本文模型在 VQA2.0 資料集上實現了當前最好的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2859

 

原始碼鏈接

https://github.com/bupt-cist/DFAF-for-VQA.pytorch

@vimjian 推薦

#6D Object Pose Estimation

本文是斯坦福和上海交大發表於 CVPR 2019 的工作,論文提出了一種可單獨處理兩個資料源的異質架構—DenseFusion。實驗表明,DenseFusion 在 YCB-Video 和 LineMOD 兩個資料集上的表現都優於當前最先進的方法。此外,研究者還將該方法應用於真實的機器人上,使其可以根據估計的姿態來抓取和操縱標的。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2862

 

原始碼鏈接

https://github.com/j96w/DenseFusion

@Flawless1202 推薦

#Object Detection

本文是中山大學和華為諾亞方舟實驗室發表於 NeurIPS 2018 的工作,論文提出了大尺度標的檢測的新思路,通過顯性知識和隱性知識模塊,將先驗信息融合到神經網絡中以豐富特征,取得了 SOTA 的效果。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2820

 

原始碼鏈接

https://github.com/chanyn/HKRM

 

@paperweekly 推薦

#Pose Transfer

本文來自特倫托大學和Snap,論文研究的問題是將視頻中的物體動作遷移到一張圖片上,然後基於這張圖片和指定動作生成一個新視頻。

作者通過一個深度框架夠將外形和運動信息解耦,該框架由三個模塊組成:1)關鍵點檢測器,可以無監督訓練提取物件關鍵點;2)深度運動預測網絡,可從稀疏關鍵點生成密集的熱圖(heatmaps),從而更好地編碼運動信息;3)運動遷移網絡,該網絡基於運動熱圖和從輸入圖像提取的外形信息去合成輸出幀。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2836

 

原始碼鏈接

https://github.com/AliaksandrSiarohin/monkey-net

 

@BelieveOP5 推薦

#Image Generation

本文是 Google AI 發表於 PMLR 2018 的工作,論文將圖像超分辨和 Self-Attention 機制結合起來,提出了一種將 Self-Attention 機制應用在圖像生成領域上的新方法,值得一看。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2842

 

原始碼鏈接

https://github.com/tensorflow/tensor2tensor

@alichen 推薦

#Robotics

本文是普渡大學發表於 ICRA 2019 的工作。這篇文章提出了 Flapping Wing Micro Air Vehicles (FWMAVs) 開源仿真平臺,並比較了仿真和實驗測得的 force map,開環控制響應及閉環控制響應,發現仿真結果和實驗結果非常相近。

和其他機器人仿真相比(例如 legged robots, ground vehicles),FWMAVs 仿真需要考慮在高頻的 flapping motion 下,周圍空氣動力學的不穩定性,對系統進行建模難度更大。這個平臺可用於機器人設計、控制與優化的研究,並與和 OpenAI Gym 環境完全兼容,利於今後強化學習和飛行控制相結合的研究。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2860

 

原始碼鏈接

https://github.com/purdue-biorobotics/flappy

@paperweekly 推薦

#Collaborative Filtering

本文是 Netflix、MIT 和 Google AI 發表於 WWW 2018 的工作,論文將變分自編碼器(VAE)擴展到協同過濾以進行隱式反饋,通過非線性概率模型剋服線性因子模型的局限。其次,作者引入了具有多項式似然(multinomial likelihood)的生成模型,並使用貝葉斯推斷進行引數估計。

作者基於 VAE 提出了一個生成模型 VAE_CF,並針對 VAE 的正則引數和概率模型選取做了適當調整,使其在當前推薦任務中取得最佳結果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2606

 

原始碼鏈接

https://github.com/dawenl/vae_cf

@zhangjun 推薦

#Bayesian Neural Network

本文是 UCLA 和 UC Davis 發表於 ICLR 2019 的工作,論文提出了一種新的對抗防禦方法,結合了貝葉斯神經網絡(BNN)和對抗訓練的優勢,獲得了不錯的效果。其中,BNN 將每個權重引數視作一個隨機變數,在預測時相當於一個無限個數的集成模型,實驗證明只依靠 BNN 並不能做好防禦,結合對抗訓練才會提升模型的防禦能力。

點評:本文沒有提出原創的方法,而是結合兩種現有的方法進行了組合測試,取得了不錯的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2758

 

原始碼鏈接

https://github.com/xuanqing94/BayesianDefense

 

@RememberMe 推薦

#Financial Time Series

本文提出了一種確定股票價格時間序列中最佳 buy, sell, hold 時間點的股票交易模型,作者結合了兩種已有方法 GA+DMLP (Genetic Algorithm and Deep Multi Layer Perceptron)。

具體思路:已有 1)技術分析指標(technical analysis indicator)作為深度網絡模型的輸入特征來做時間序列預測;2)用於技術分析指標尋優的進化演算法。本文結合二者,將進化演算法優化後的技術分析指標作為深度網絡的輸入特征,從而嘗試使深度網絡從進化演算法的優化中學習判斷最佳的進出點。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2889

 

原始碼鏈接

https://github.com/omerbsezer/SparkDeepMlpGADow30

@chlr1995 推薦

#Network Pruning

本文是圖森發表在 ECCV 2018 的工作,論文在結構稀疏化的基礎上提出了一種更簡潔的方式,達到粗粒度的剪枝(直接剪枝整個 residual function/aggregated residual block 中的一個 group),通過引入一個結構縮放因子 lambda,在訓練過程中對 lambda 施加一個 L1 正則化,訓練結束後,剪掉 lambda=0 的塊或 group,達成網絡剪枝的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2540

 

原始碼鏈接

https://github.com/huangzehao/sparse-structure-selection

赞(0)

分享創造快樂