歡迎光臨
每天分享高質量文章

本周份AI論文推薦新鮮出爐!真的很skr了~

在碎片化閱讀充斥眼球的時代,越來越少的人會去關註每篇論文背後的探索和思考。

在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。


點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。

這是 PaperDaily 的第 91 篇文章

Sliced Recurrent Neural Networks

@Ttssxuan 推薦

#Recurrent Neural Networks

本文是上海交大發表於 COLING 2018 的工作,論文提出了一種對 RNN 進行加速的方法,相對標準 RNN 其可以加速達到 136 倍,如果針對長序列,可以得到更大的加速比,此外從數學上證明瞭,RNN 是 SRNN 的一個特例。 

SRNN 把 RNN 序列分成每份 K 份,這樣每份可以各自運行(並行),得到長度為 N 的新序列,後續可以新序列上繼續如上操作,一直到序列長度等於 1 或滿足需求。通過在 6 個較大規模的情感分類資料集上測試,相比於 RNN,SRNN 都取得很大的性能優勢。

 論文模型:點擊查看大圖


論文鏈接

https://www.paperweekly.site/papers/2143

原始碼鏈接

https://github.com/zepingyu0512/srnn


SentEval: An Evaluation Toolkit for Universal Sentence Representations

@pwathrun 推薦

#Sentence Representations

SentEval 是 Facebook AI Research 推出的一個用於測評 Sentence representation model 性能的 framework。其中自定義了至少 13 個任務(後續有添加),任務資料包括了文本文類,文本相似性檢測,NLI,圖片摘要的任務。其著眼點是目前 NLP 領域內不同模型的跑分不能很好的進行復現,進而導致橫向比較模型性能比較困難的痛點。 

任何已訓練的模型都已放在 SentEval 框架內,SentEval 會使用標的任務來對提供的模型進行測試,因為測試環境統一,以此獲得的評測結果可以和其它的模型的測試分數進行統一的比較,而不是只是比較論文中的紙面資料,有利於復現相關模型的真實性能,而且是相關模型針對不同 NLP 任務的性能。 

具體實現是通過自定義和修改 SentEval 的固定命名方法(batcher (),prepare ()等)使得 SentEval 可以將標的任務的文本匯入模型,獲得向量輸出,進而進行相關任務的比較。比如文本分類就是獲得向量輸出之後訓練一個分類器來比較分類的準確率。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2105

原始碼鏈接

https://github.com/facebookresearch/SentEval


Learning Chinese Word Representations From Glyphs Of Characters

@mwsht 推薦

#Chinese Word Representations

本文是臺灣大學發表於 EMNLP 2017 的工作,論文提出了一種基於中文字符圖像的 embedding 方法,將中文字符的圖像輸入捲積神經網絡,轉換成為詞向量。因為中文是象形文字,這樣的詞向量能夠包含更多的語意信息。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2141



Competitive Inner-Imaging Squeeze and Excitation for Residual Network

@superhy 推薦

#Residual Network

本文來自華南理工大學,論文在 SE-Net(Squeeze-Excitation)的基礎上,根據已有的殘差映射作為恆等映射的一種補充建模的論點,提出了殘差和恆等流進行競爭建模共同決定 channel-wise attention 輸出的改進,使得恆等流能自主參與對自身補充的權重調控。

另外,本文針對網絡中間特征的精煉建模任務,提出了對 channel squeezed 特征進行重成像,將各個信道的 global 特征重組為一張新的 feature map,並使用捲積(21,11 兩種)操作完成對重組特征圖的建模,以此學習來自殘差流和恆等流所有 channels 的信道關係信息,將之前的:1. 分別建模 chanel-wise 關係;2. 再合併建模殘差映射和恆等映射競爭關係,這樣兩步融合為建模綜合信道關係一步;稱這一機製為 CNN內部特征的重成像(Inner-Imaging),探索了一種新的,考慮位置關係的,使用捲積進行 SE(channel-wise attention)建模的 CNNs 設計方向。 

本文實驗在 CIFAR-10,100,SVHN,ImageNet2012 資料集上進行,驗證了提出方法的有效性,併發現提出方法對較小規模網絡的潛力挖掘作用,使其能用更少的引數達到甚至超越原先更大網絡才能達到的效果。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2161


原始碼鏈接

https://github.com/scut-aitcm/CompetitiveSENet

TequilaGAN: How to easily identify GAN samples

@TwistedW 推薦

#GAN

本文來自 UC Berkeley,GAN 生成的樣本在視覺方面已經達到與真實樣本很相近的程度了,有的生成樣本甚至可以在視覺上欺騙人類的眼睛。區分生成樣本和真實樣本當然不能簡單的從視覺上去分析,TequilaGAN 從圖像的像素值和圖像規範上區分真假樣本,證明瞭真假樣本具有在視覺上幾乎不會被註意到的屬性差異從而可以將它們區分開。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2116



SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text

@born2 推薦

#Image Caption

本文提出了一個 caption 資料庫,特點是能夠生成故事性的描述句子。相對於傳統一般的 caption 任務,這個新提出的任務,生成的句子更具有故事性的特色,而不是單純無感情的描述。為瞭解決這個問題,首先需要構建一個資料庫,相對於一般的需要人工標記的資料庫而言,這裡採用無監督的方式,直接使用一些既有的自然語言處理的技術來解決這個問題。

作者提出了一套框架,以此來構建從傳統的句子到故事性句子的映射。為了方便訓練和解決這個問題,作者提出兩段式的訓練,從圖像到關鍵詞,再從關鍵詞到故事性的句子,避免了標註,方便了訓練,值得一讀。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2160


原始碼鏈接

https://github.com/computationalmedia/semstyle

Log-DenseNet: How to Sparsify a DenseNet

@mwsht 推薦

#DenseNet

本文是 CMU 和微軟發表於 ICLR 2018 的工作,DenseNet 是 ResNet 的改進,本文在 DenseNet 的基礎上提出了一種較為接近的但同時更少連接數目的 skip connecting 的方法:選擇性地連接更多的前幾個層,而不是全部連接。相較於 DenseNet,本文擁有更少的連接數目,較大幅度地減少了計算量,但同時擁有較為接近的 performance。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2103

Training Neural Networks Using Features Replay

@jhs 推薦

#Neural Networks

本文來自匹茲堡大學,論文提出了一種功能重播演算法,對神經網絡訓練有更快收斂,更低記憶體消耗和更好泛化誤差

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2114

Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information

@paperweekly 推薦

#Question Generation

本文是馬裡蘭大學發表於 ACL 2018 的工作,論文基於完全信息期望值(EVPI,expected value with perfect information)架構構建了一個用於解決澄清問題排序的神經網絡模型,並利用問答網站“StackExchange”構建了一個新的三元組(post, question, answer)資料集,用於訓練一個能根據提問者所提出的問題來給出澄清問題的模型。

 論文模型:點擊查看大圖


論文鏈接

https://www.paperweekly.site/papers/2146


原始碼鏈接

https://github.com/raosudha89/ranking_clarification_questions

NCRF++: An Open-source Neural Sequence Labeling Toolkit

@PatrickLiu 推薦

#Sequence Labeling

本文主要介紹了神經網絡序列標註工具包“NCRF++”。NCRF++ 被設計用來快速實現帶有 CRF 推理層的不同神經序列標註模型。用戶可以通過配置檔案靈活地建立模型。工具包使用 PyTorch 實現。解釋該工具包架構的論文已被 ACL 2018 作為 demonstration paper 接受,即本篇論文。 使用 NCRF++ 的詳細實驗報告和分析已被 COLING 2018 接受,詳細論文解讀:COLING 2018 最佳論文解讀:序列標註經典模型復現

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2138

原始碼鏈接

https://github.com/jiesutd/NCRFpp

SEE: Towards Semi-Supervised End-to-End Scene Text Recognition

@jxlxt 推薦

#Object Recognition

本文設計了一個端到端的半監督文本檢測和識別模型,通過在 SVNH 和 FSNS 資料集上驗證了該模型的 work。文章的模型不需要提供文本檢測的 bounding box 只需要提供正確的 label,然後通過預測誤差反向傳播修正文本檢測結果。

端到端的模型 loss 設計困難,通常識別隻專註於文本檢測或文本識別,但本文使用了 STN 來進行文本檢測結合 ResNet 進行識別。先通過 STN 檢測文本位置,輸出特定區域的文本圖片後再通過 CNN 識別文本。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2113

原始碼鏈接

https://github.com/Bartzi/see

Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis

@jamiechoi 推薦

#Image Synthesis

本文是密歇根大學和 Google Brain 發表於 CVPR 2018 的工作,論文首先從文字用一個 box generator 預測出物體類別所在的 bounding box 的位置,然後用 shape generator 在 box 的基礎上生成更細膩的 mask,最後把 mask 和文字信息輸送到 image generator 進行圖片的生成。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2112

Deep Inductive Network Representation Learning

@xuzhou 推薦

#Network Representation Learning

本文是由 Adobe Research、Google 和 Intel Labs 發表於 WWW ’18 上的工作,論文提出了通用的歸納圖表示學習框架 DeepGL,DeepGL 具有多種優勢,對今後的研究具有一定的參考意義。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2151

Multi-Cast Attention Networks for Retrieval-based Question Answering and Response Prediction

@paperweekly 推薦

#Attention Mechanism

本文是南洋理工大學發表於 KDD 2018 的工作,論文在問答和對話建模方向為各種檢索和匹配任務提出了一個通用神經排序模型。該模型在神經網絡模型的基礎上引入了 attention 機制,不再僅僅將 attention 作為 pooling 操作,而是將其作為一種特征增強方法。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2159

Modeling Polypharmacy Side Effects with Graph Convolutional Networks

@xuehansheng 推薦

#Bioinformatics

本文來自斯坦福大學,論文將 Graph Convolution Neural Network 應用於藥物副作用研究中。本文提出了一種通用的多關聯鏈路預測方法——Decagon,該方法可以應用於任何多模態網絡中,能夠處理大量邊緣型別的多模態網絡。

 論文模型:點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2127


原始碼鏈接

https://github.com/Bartzi/see

#推 薦 有 禮#


本期所有入選論文的推薦人

均將獲得PaperWeekly紀念周邊一份


▲ 深度學習主題行李牌/卡套 + 防水貼紙

 禮物領取方式 


推薦人請根據論文詳情頁底部留言

添加小助手領取禮物


想要贏取以上周邊好禮?

點擊閱讀原文即刻推薦論文吧!

點擊以下標題查看往期推薦: 


關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。


▽ 點擊 | 閱讀原文 | 加入社區刷論文

赞(0)

分享創造快樂