歡迎光臨
每天分享高質量文章

讓陌生人說出你的興趣:基於深度學習的推薦模型—PARL

「論文訪談間」是由 PaperWeekly 和中國中文信息學會社會媒體處理專委會(SMP)聯合發起的論文報道欄目,旨在讓國內優質論文得到更多關註和認可。

 

在過去十幾年,推薦系統一直是資料挖掘領域和各大互聯網公司持續關註的一個熱點技術。其核心目的在於根據用戶的行為挖掘出用戶的興趣並由此對用戶提供精準的推薦。 

 

傳統的推薦系統主要依賴於協同過濾技術從用戶對商品的歷史打分行為中學習用戶個性化的品味。雖然基於協同過濾的推薦系統取得了不錯的推薦效果,但受限於用戶行為資料的稀疏性等原因,其在推薦性能上存在比較明顯的瓶頸。

 

近年來,基於評論的推薦系統已經引起了學術界和工業界的廣泛關註。其核心思想在於根據用戶(商品)的評論構建用戶(商品)評論文件(user/item document),並從對應的用戶文件和商品文件中挖掘出用戶的興趣(商品的特征)以進一步輔助推薦。

 

這類同時利用用戶打分資料和評論資料來學習用戶-商品關係的推薦模型取得了比協同過濾模型更好的效果。其主要原因在於,作為用戶評分資料以外另一個重要的用戶生成內容,評論資料不僅能緩解用戶-商品交互資料的稀疏性問題,並且能為推薦系統的推薦行為提供一定程度上的可解釋性。 

 

雖然大部分的基於評論的推薦系統被證明能有效緩解推薦領域中用戶-商品交互資料稀疏的問題,它們自身仍然存在一些不足: 

 

1. 評論資料本身面臨的稀疏性問題:大多數用戶在完成網上購物/評分後,並不會留下相應的評論來表達他們的觀點。 

 

2. 用戶的評論不能完整反應用戶的感受:雖然平臺並不對評論的字數作出限制,但大多數用戶留下的評論字數較少,無法完整表達出用戶的想法。 

 

為解決上述問題,本文提出了一個深度推薦模型——PARL。PARL 嘗試從同好用戶(like-minded user)所寫的輔助評論(auxiliary reviews)中提取語意特征,來提升現有的基於評論的深度推薦模型在分數預測任務上的預測精度。我們認為同好用戶所做出的評論能夠輔助模型對標的用戶進行更好的畫像,進而提升推薦系統的最終效果。

 

從圖 1 可以看出,兩位 IMDB 的用戶“Shawn”和“Jayden”均對“復仇者聯盟 3”給出了十分的滿分。雖然他們在真實世界里可能互為陌生人,但他們對“復仇者聯盟 3”所給出的評價均有利於我們對另一個用戶做出更好的畫像(例如:根據 Jayden 的評論,我們可以合理推測 Shawn 也會喜歡“蟻人”這部電影)。

模型

模型第一步是為每個用戶構建對應的輔助評論文件(auxiliary document)。該輔助評論文件,由此用戶的同好用戶所寫的評論所組成。輔助評論文件的構造主要遵循三個原則: 

 

  • 文件不能被熱門商品的評論所主導; 

  • 不同的用戶有不同的打分習慣; 

  • 大多數用戶傾向於給高分。 

 

所以在構建文件時,我們將和用戶對同一商品有相近打分行為的用戶都當作同好用戶,並傾向於選擇和標的用戶打相同分數或者比標的用戶打分高的用戶所寫的評論作為輔助評論。對於用戶所有的打分行為,我們都隨機挑選一位同好用戶所寫的輔助評論加進輔助評論文件中。 

 

完成對輔助評論文件的構建後,如圖 3 所示,PARL 利用四層網絡結構來從輔助文件中提取語意特征:1)捲積層(Convolution layer)。2)抽象層(Abstracting layer)。3)過濾層(Filtering layer)。4)融合層(Fusion)。

 

捲積層

給定一篇輔助評論文件,捲積層先通過一個映射矩陣把文件中的單詞轉換成對應的詞向量,從而得到詞向量矩陣。得到後,PARL 利用一層捲積操作來捕捉文件中的短語和詞組信息,並且將矩陣 D 轉換成帶背景關係信息的矩陣 C:

其中 C 裡面的每一列向量 c 都建模了短語的背景關係信息。 

 

抽象層

 

由於輔助評論文件裡面包含的評論內容並不是標的用戶本人所寫,所以一個比較合理的假設是:輔助評論文件中只有部分觀點可以有效反映標的用戶的興趣。所以在得到矩陣 C 後,我們會再利用一層基於最大池化操作的捲積神經網絡(max-pooling based CNN)來進一步抽像輔助評論文件中提取出來的語意特征:

其中,是經過抽象後從輔助評論文件中得到的初級語意隱向量。在得到後,我們會讓它經過一層非線性變化的全連接層,從而得到最終的語意表達向量

 

過濾層

 

一般來說,可以被認為是從輔助評論文件中提取出來的語意特征,並可作為額外的信息用以輔助其他基於評論的推薦系統,以獲得更好的分數預測效果。但由於用戶對不同的商品會體現出不一樣的興趣點,並最終影響用戶對不同商品所打的分數。

 

為了有針對性地提取對標的用戶-商品對有效的語意特征,從而更好地預測標的用戶對標的商品的評分。過濾層通過結合高速網絡(highway network)和門機制(gated mechanism)來進一步優化所攜帶的語意信息。 

 

首先,PARL 用一層高速網絡來優化所攜帶的信息流:

通過高速網絡後,為了過濾無效特征,PARL 利用門機制,結合已經得到的用戶表達和商品表達來最終選擇向量所攜帶的語意信息:

 

其中是基礎的基於評論的推薦模型(本文中是 DeepCoNN)分別從用戶評論文件(user document)和商品評論文件(item document)中提取出的用戶向量和商品向量。而被認為是最終的從輔助評論文件中提取出來的特征向量,其攜帶針對標的用戶-商品對的語意特征信息。

 

融合層

 

在學到後,每一個用戶 u 會關聯兩個向量:從用戶評論文件中學出的隱向量和從用戶輔助評論文件中提取出的隱向量。為了完整地刻畫用戶,我們利用單層的全連接層把它們合併成一個向量,得到用戶的最終表達如下:

然後 PARL 把拼接起來:,得到用戶和商品的聯合表達後,把它送進分解機(Factorizaiton Machine)來實現分數預測的功能。

最後,我們基於回歸的平方損失函式來優化整個模型:

由於是分別從兩份異構的文件中提取出來的語意特征向量,它們所攜帶的特征具有不兼容性。為了消融這種不兼容,我們給標的函式設置了第二項,並利用 λ 引數來控制兩個向量之間的兼容程度。

實驗結果

本文在五個資料集上做了實驗來驗證模型的有效性。同時為了驗證 PARL 是否能有效改善基於評論的推薦系統在評論資料稀疏時對分數的預測精度,本文把用戶文件根據長度劃分成不同的用戶群並分別進行了分數預測的實驗。最後,本文通過一個可視化實驗來說明 PARL 具有從輔助文件中提取有效語意特征的能力。

表 2 列出的是各推薦模型在不同資料集的分數預測任務上的總體表現。可以看出:本文所提出的 PARL 模型的表現更好。同時 DeepCoNN-Aux 模型是在把用戶輔助文件拼接在用戶文件後嘗試通過 DeepCoNN 模型來提取額外的語意特征。

 

但根據 DeepCoNN-Aux 和 DeepCoNN 模型的效果對比來看,在分數預測的精度上該操作並沒有取得明顯的提升。這一對比也說明瞭利用額外網絡結構來單獨提取輔助文件中包含的語意特征的必要性。

另外,為了驗證 PARL 是否能通過利用輔助文件改善基於評論的推薦系統在評論資料稀疏時的表現。作者根據用戶評論文件的長度把用戶劃分為 5 組。我們可以發現在 Beer 和 Office Products 資料集的大多數分組上,PARL 都能達到最低的預測誤差。因此說明 PARL 可以通過利用輔助評論文件更好地提高分數預測的精確度。另外隨著文件長度越長,PARL 帶來的效果提升也更明顯。

 

表 3 是本文對 PARL 模型做的消融實驗的結果,可以觀察到:每個組件層都對提升分數預測的精度起到了正面的影響。

 

表 4 展示了輔助文件中和標的評論相關聯的語意特征之間的可視化。可以看出,當輔助文件與當前標的的評論在語意上關聯度越大,他對分數預測的精確度就會越好(排名就會越高)。也在一定程度上展示了 PARL 模型具有有效地提取用戶-商品對相關的語意特征的能力。

 

總結

本文提出一個基於深度學習技術的推薦模型 PARL。PARL 可以通過從同好用戶所寫的輔助評論中提取有效的語意特征來優化基於評論的深度推薦模型在分數預測任務上的性能。PARL 也是第一個嘗試解決文本稀疏性的推薦工作。

 

未來,我們嘗試利用註意力機制來更有針對性地挑選輔助評論文件,併進一步提升推薦系統的性能和可解釋性。

關於作者

吳黎兵,武漢大學計算機學院教授。主要研究方向為大資料、無線網絡、網絡管理、分佈式計算等。近年來主持國家自然科學基金、湖北省創新群體、湖北省科技支撐計劃、湖北省自然科學基金重點專案和麵上專案、武漢市科技攻關、國家科技部支撐計划子課題、中國博士後科學基金特別資助、武漢市軟體發展基金等專案的研究工作,曾參加國家863計劃引導專案、可信軟體重大研究計劃等研究工作。目前已發表160餘篇學術論文,其中110多篇被SCI/EI收錄,曾獲第十二屆中國計算機網絡與通信學術會議優秀論文獎。獲得ICoC2016中國互聯網學術會議Best Paper獎。擔任雜誌IEEE TVT,IEEE Transactions on Cloud Computing,IEEE Transactions on SMC等國際期刊審稿人。

全聰,武漢大學計算機學院博士研究生。主要研究方向為推薦系統,自然語言處理等。

李晨亮,武漢大學國家網絡安全學院副教授,碩導,武漢大學珞珈青年學者。研究興趣包括信息檢索、自然語言處理、機器學習和社交媒體分析,在SIGIR、TOIS、TKDE、ACL、AAAI、CIKM相關領域權威會議及期刊發表論文30餘篇。擔任中國中文信息學會青年工作委員會委員、社交媒體專委會委員、信息檢索專委會委員。長期擔任相關領域國際權威學術期刊審稿人和重要學術會議 程式委員會委員(TPC)。擔任信息檢索國際權威學術期刊JASIST的編委。獲SIGIR2016 年Best Student Paper Award Honorable Mention;SIGIR2017 年Outstanding Reviewer Award。

姬東鴻,武漢大學國家網絡安全學院教授,博士生導師,武漢大學珞珈特聘教授。先後在武漢大學和牛津大學獲計算機和語言學博士學位。主要研究方向為自然語言處理、深度學習、大資料平臺(智慧醫療、智慧建築、智慧教育等)和對話機器人等。近年來主持省部級以上專案近20項,在AAAI,EMNLP,COLING等國際頂級會議與期刊發表論文40多篇。

主辦單位

已同步到看一看
赞(0)

分享創造快樂