歡迎光臨
每天分享高質量文章

深度協同過濾:用神經網絡取代內積建模

在碎片化閱讀充斥眼球的時代,越來越少的人會去關註每篇論文背後的探索和思考。

在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。


點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。

這是 PaperDaily 的第 76 篇文章

本期推薦的論文筆記來自 PaperWeekly 社區用戶 @spider。儘管現在很多工作已經把深度學習運用到了推薦的任務當中,但大多只是利用深度學習給一些輔助信息建模,在表示 user 與item 之間的交互時,仍是使用矩陣分解等用內積來建模

本文是新加坡國立大學發表於 WWW ’17 的工作,作者提出用多層神經網絡給 user 和 item 進行交互建模,並提出了一種基於神經網絡的協同過濾通用框架 NCF

如果你對本文工作感興趣,點擊底部閱讀原文即可查看原論文。

關於作者:黃若孜,復旦大學軟體學院碩士生,研究方向為推薦系統。

■ 論文 | Neural Collaborative Filtering

■ 鏈接 | https://www.paperweekly.site/papers/635

■ 原始碼 | http://t.cn/ROuhFZP


論文動機


許多利用深度學習來做推薦的工作 focus 在輔助信息的提取上,而對協同過濾最關鍵的元素——user 和 item 之間的交互作用,這些工作仍然利用的是矩陣分解模型,利用 latent feature 的內積進行推薦,而內積的描述能力是有限的。


Neural Collaborative Ffiltering(NCF)是一種用神經網絡取代這個內積部分的技術,以學到 latent feature 之間任意的函式關係。

模型


MF 利用特征向量 pu、qi 的內積評估 u 對 i 的偏好:


由於將 user 和 item 映射到了同樣的特征空間,然後使用內積也就是兩個向量的 cosine 來衡量相似性;同樣的,我們也可以用內積來衡量兩個用戶的相似性。


使用 jaccard 繫數(集合 A 與 B 的交集與並集的比值作為集合的相似度)來作為用戶之間真實的相似程度,那麼下麵評分矩陣用戶 123 之間 S23>S12>S13,在 latent space 中的幾何關係如右圖所示,加入用戶 4 時,S41>S43>S42,於是我們讓用戶 4 的特征靠近 1,然而無論怎麼放,都無法使用戶 3 比用戶 2 更接近用戶 4。


這就是使用內積描述相似度的局限性,我們可以增大 K 來解決這個問題,但是存在過擬合的風險。


下圖是 NCF 的框架,user 和 item 的 id 先經過 embedding 層得到一個特征,然後輸入到 MLP 中得到打分結果,用 pointwise 的標的函式進行訓練:

其中 user 和 item 的 embedding 結果可以通過逐元素乘積的形式結合,然後作為 MLP 的輸入,稱為 GMF 模型。


這種情況下 NCF 可以包含 MF(即使用 identity 的激活函式,同時將隱藏層全部置為 1,可起到內積的效果),如果使用非線性的激活函式,那麼比起線性 MF,這個設置使模型具有更強的表達能力。


此外一個常規的思路就是講兩個 vector 拼接起來作為 MLP 的輸入,稱為 MLP 模型。本文也提出了一個將這兩種方法融合起來的模型,稱為 NeuMF

由於本模型使用的是隱式反饋(1/0),如果使用平方誤差函式:

那麼實際上相當於認為預測的 yui 是以 f(u,i|θ) 為均值的高斯分佈,而這樣的假設顯然是不適合二值的隱式反饋。所以我們可以將待遇測的值看做是一個分類問題,即用戶和專案是否有交互。


使用邏輯回歸進行訓練,得到一個二元交叉熵損失,其中 Y- 可以是全部或者部分的負樣本(也會就是負採樣方法):

實驗


本文在 MovieLens,Pinterest 兩個資料集上進行了驗證,使用了 HR@10,NDCG@10 作為指標,使用了 itempop,itemknn,bpr,eALS 作為 baseline:

評價


在 MF 出來之後,一大批用各種方法融合屬性、背景關係的基於 MF 的方法冒了出來,這篇 NCF 的方法提出來之後,在最近比較火的 cross domain 等 task 上,已經出了一批基於 NCF 的方法,可以說在深度學習浪潮下,NCF 是一代新的基礎模型(之一)了。

本文由 AI 學術社區 PaperWeekly 精選推薦,社區目前已改寫自然語言處理、計算機視覺、人工智慧、機器學習、資料挖掘和信息檢索等研究方向,點擊「閱讀原文」即刻加入社區!


點擊標題查看更多論文解讀: 

 戳我查看招募詳情

#作 者 招 募#


讓你的文字被很多很多人看到,喜歡我們不如加入我們

           

關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。


▽ 點擊 | 閱讀原文 | 查看原論文

赞(0)

分享創造快樂