歡迎光臨
每天分享高質量文章

近期我們在讀的那些優質論文,你不瞭解下?

在碎片化閱讀充斥眼球的時代,越來越少的人會去關註每篇論文背後的探索和思考。

 

在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。

 

點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。

這是 PaperDaily 的第 132 篇文章

@xwzhong 推薦

#Attention Mechanism

本文來自 LinkedIn,這是一篇 NLP 領域 Attention model 的綜述文章,論文詳細介紹了不同架構的網絡與 Attention 的結合、Attention如何提高模型的可解釋性和 Attention 的應用。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2944

 

@paperweekly 推薦

#Relation Classification

本文是清華大學劉知遠老師組發表於 AAAI 2019 的工作,論文提出文本與圖像的一大區別在於其多樣性和噪音更大,並提出了一種基於混合註意力的原型網絡結構。

具體來說,作者首先使用 instance-level 的 attention 從支撐集中選出和 query 更為貼近的實體,同時降低噪聲實體所帶來的影響。然後 feature-level 的實體能夠衡量特征空間中的哪些維度對分類更為重要,從而為每種不同的關係都生成相適應的距離度量函式,從而使模型能夠有效處理特征稀疏的問題。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2926

 

原始碼鏈接

https://github.com/thunlp/HATT-Proto

 

 

@paperweekly 推薦

#Contextual Representations

本文是華盛頓大學和 AllenAI 發表於 NAACL 2019 的工作,論文主要研究的問題是預訓練詞表示的語言知識和可遷移性。作者探索了不同背景關係表示的語言知識及其可遷移性,並且還基於 Transformer 模型,將不同層的輸出標量加以混合取得了更好的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2956

 

原始碼鏈接

https://github.com/nelson-liu/contextual-repr-analysis

 

 

@boom 推薦

#Neural Machine Translation

本文是 CMU 發表於 NAACL 2019 的工作。模仿人類從簡單的知識學習到複雜知識的學習方式,NMT 方向提出了一個從學習簡單的陳述句翻譯到複雜陳述句翻譯的框架,能夠在翻譯速度上提升百分之 70,BLEU 的得分提高 2.2 個點。

本文提出了學習陳述句的難度和機器的學習能力兩個概念,使得機器只學習難度低於其能力的陳述句的翻譯,然後逐步提升難度;主要應用於資料的預處理上面,所以可以應用於各種 NMT 模型上。

 論文模型:點擊查看大圖

@jingyihiter 推薦

#Text Generation

本文是阿裡巴巴發表於 ICASSP 2019 的工作。為了提高生成文本多樣性、解決傳統 CVAE 中的 KL 散度 vanish 問題,本文提出了一個直接的優化標的,此優化標的指導編碼器變成最優編碼器增強模型的表達能力。

該方法全稱為自標註 CVAE (self labeling CVAE),文中給出了一個“一對多”(生成多種文本)的資料集,實驗表明在兩個資料集(開放域對話生成和推薦系統句子生成)上與 SOTA 演算法相比提高了生成文本的多樣性。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2919

 

 

@SRIN 推薦

#Graph Embeddings

本文是 CMU、NYU、FAIR 和 Google 發表於 NeurIPS 2018 的工作,論文的主要貢獻在於將學習特征之間的關係圖作為遷移學習 representation。

作者研究的是遷移學習中的表示問題,學習用表徵兩個元素之間的關係的圖表示,而不是用特征向量表示。作者提出了一種新的無監督隱藏圖學習框架,從大規模的未標記資料中訓練一個神經網絡來輸出隱藏圖型,並將該網絡遷移到提取下游任務的圖結構來加強對它的訓練。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2911

 

原始碼鏈接

https://github.com/YJHMITWEB/GLoMo-tensorflow

@O3oBigFace 推薦

#Multimodal Machine Learning

本文是 CMU 發表於 TPAMI 2019 的綜述性文章,不同於以往對多模態學習的分類,將多模態的近期研究成果按照應用型別劃分。對其中的每一種分類進行了詳細的描述。本文是近期多模態領域中最詳細最完整最新穎的一篇綜述,可以看出 CMU 在 multimodal 這方面的造詣很深。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2868

@xiaotian311 推薦

#Object Tracking

本文是林雪平大學、ETH 和起源人工智慧研究院發表於 CVPR 2019 的工作,論文著眼於解決標的跟蹤過程中的定位精度不夠問題。作者將標的跟蹤分為標的分類標的評價兩個網絡部分,前者分類用於粗定位,後者用於精細定位,即兩階段跟蹤。

標的估計網絡使用了 ECCV 2018 的 IoUNet 結構,基於大資料集離線訓練,訓練時最大化與 gt 的 IoU;標的分類網絡使用了深度回歸網絡結構,由兩層捲積層構成,在線訓練,根據輸出的 map 選擇候選框交給標的估計網絡,並且提出了新的快速在線訓練方法。實驗表明,本文方法的性能超過了 DaSiamRPN,GPU 下達到 30 fps。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2923

 

原始碼鏈接

https://github.com/visionml/pytracking

@danieljf24 推薦

#Video Retrieval

本文是浙江工商大學、人民大學、浙江大學和阿裡巴巴發表於 CVPR 2019 的工作,論文主要探討零示例視頻檢索。在這種檢索範例中,用戶在沒有示例的情況下,僅通過自然陳述句描述其即席查詢需求。考慮到視頻是幀序列而查詢是詞序列,我們需要建立一個有效的序列到序列的跨模態匹配。

現有方法以基於概念為主,通過分別從查詢和視頻中提取相關概念,從而建立兩種模態之間的關聯。相比之下,本文采用了一種無需概念建模的方法,提出對偶深度編碼網絡,首次使用具有相似架構的多層編碼網絡同時對句子和視頻進行量化編碼和表示學習,在多個極具挑戰性的評測集(MSR-VTT,TRECVID 2016和2017 Ad-hoc Video Search)上超過了現有結果。

 論文模型:點擊查看大圖

 

論文鏈接

https://www.paperweekly.site/papers/2921

 

原始碼鏈接

https://github.com/danieljf24/dual_encoding

 

@Kralkatorrik 推薦

#Face Recognition

本文來自京東和中科院自動化所。人臉識別中有兩種常見的從 loss 方面促進 feature discriminative 的方法:mining-based 和 margin-based 損失函式,這兩種方法都存在其局限性。這篇文章提出了 SV-Softmax loss 能夠將兩種方法結合,並彌補他們的缺陷,在各個資料集上都取得了 SOTA 的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2872

 

原始碼鏈接

https://github.com/tiandunx/SV-X-Softmax

@CLAYxxliu 推薦

#Generative Adversarial Networks

當前現有的很多 GAN 結構在訓練的時候並不穩定,很容易就會發生樣式崩塌的現象。在本文文中,作者提出一個新穎 GAN 框架稱為進化對抗網絡(E-GAN)。

該框架摒棄了單一的生成器的設定,將生成器當做一個族群,每個單個的生成器就是一個體,而每個個體的變異的方式是不同的。作者利用一種評價機制來衡量生成的樣本的質量和多樣性,這樣只有性能良好的生成器才能保留下來,並用於進一步的培訓。

通過這種方式,E-GAN 剋服了個體對抗性訓練標的的局限性,始終保留了對 GANs 的進步和成功做出貢獻的最佳個體。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2904

 

原始碼鏈接

https://github.com/WANG-Chaoyue/EvolutionaryGAN

 

@shoujin 推薦

#Recommender Systems

本文是第一篇全面深入總結 session-based recommendations 的綜述文章,值得推薦。文章系統總結了目前一種新型推薦範式:session-based recommendations 的特點、挑戰和目前取得的進展,對整個推薦系統研究領域和相關的工業界人員提供了一個全面瞭解推薦系統領域最新研究進展的機會。

該文從問題本質和相關的資料特征入手,為 session-based recommendations 建立了一個層次化模型來深入理解裡面存在的各種資料複雜性和潛在挑戰,然後採用了兩個不同維度對現有研究成果進行了系統分類和總結,最後提出了展望。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2884

@Xiaoha0607 推薦

#Search Ranking

本文來自 Airbnb,論文主要介紹了 Airbnb 搜索排序系統的演進以及深度學習的應用。文章給出了深度學習在搜索標的問題的實踐經驗談,尤其在特征工程、特征重要性分析方面有很多 insight 值得借鑒。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2952

@Glimmer123 推薦

#Continual Lifelong Learning

本文來自漢堡大學、羅徹斯特理工大學和赫瑞-瓦特大學,論文詳細介紹了持續終身學習領域相關概念(比如災難性遺忘),總結三個主要的研究領域,是持續終身學習領域比較好的綜述。

 論文模型:點擊查看大圖

 

 

論文鏈接

https://www.paperweekly.site/papers/2934

@QAQ 推薦

#Convolutional Neural Network

本文來自 Facebook AI、新加坡國立大學和奇虎 360,論文提出 OctConv 用於壓縮低頻信息,分別處理高低頻兩個部分的資料,併在二者之間進行信息交換,從而減少捲積運算對儲存和計算量的消耗。替代傳統捲積,在提升效果的同時,節約計算資源的消耗。即插即用,無需修改原來的網絡架構,不用調整超引數。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2954

 

原始碼鏈接

https://github.com/terrychenism/OctaveConv/

@NeoTheSunshine 推薦

#Graph Embeddings

本文通過實驗證明,現有的 GNN 及其相關變體仍然存在對圖結構表達能力不足的問題。為了進一步提升模型的表達能力,作者提出一種帶有 gating mechanism 的輔助模塊 Graph Warp Module,它可以通用使用在 GNN 上而無須改變原有模型結構。通過實驗證明瞭可以使用帶有 GWM (Graph Warp Module) 的 GNN 來達到 state-of-the-art generalization performance。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2881

已同步到看一看
赞(0)

分享創造快樂