融合文本信息的多模態深度自編碼器推薦模型

　　摘要:針對以評分信息做輔助推薦時數據稀疏和深層次語義信息無法學習的問題,提出了一種新的推薦模型。以隱式反饋評分矩陣作為深度自編碼器的原始輸入,通過編碼解碼操作,實現評分信息的特征學習;用戶電影類型矩陣為模型嵌入層的輸入,經過平坦層和全連接層的操作,實現類型文本信息的特征學習;同時,使用BERT+BiLSTM結構對電影標題文本進行上下文信息的特征提取和特征學習。3種特征融合后,通過自編碼器的處理得到預測評分。以Movielens1M和Movielens100k為數據集,平均絕對誤差和均方誤差為評價指標,SVD、PMF、PMMMF、SCC、RMbDn、Hern為對比模型,結果表明:本文模型在MAE上分別降低到0.0458和0.0460,在MSE上分別降低到0.0273和0.0390,優于對比算法,新的推薦模型性能提升效果較好。

　　陳金廣; 徐心儀; 范剛龍， 西安工程大學學報 發表時間：2021-09-18

　　關鍵詞:推薦算法;BERT;BiLSTM;深度自編碼器;文本信息

　　0引言

　　隨著大數據時代的到來,推薦系統作為緩解信息過載的重要技術,已經在電子商務[1]領域廣泛應用。為了提供更好的個性化推薦服務,準確地預測用戶對商品的評分是推薦系統需要解決的關鍵問題。目前推薦系統領域的研究方向主要分為基于內容[2]的推薦、基于協同過濾[3-4]的推薦和混合推薦[5-6]3種。但是,傳統矩陣分解算法[7]難以適應當前復雜的環境。近年來,深度學習技術飛速發展并在圖像等領域取得巨大的突破,越來越多的學者將深度學習技術應用到推薦系統中[8]。

　　在基于深度學習并結合文本信息的推薦方法中,關鍵是獲取文本信息的上下文。在提取上下文特征方面,KIMD等提出一種上下文感知的卷積矩陣分解模型[9],該模型將卷積神經網絡融入概率矩陣分解模型中,提高了預測評分的準確性,但在感知上下文方面存在較大欠缺。LIUQ等提出了基于循環神經網絡(RNN)的CA-RNN模型[10],該模型引入了具有上下文感知的輸入矩陣和具有上下文感知的轉移矩陣,能夠較好地感知上下文,但是在聯系雙向上下文信息方面效果并不顯著。DEVLINJ等提出BERT模型(BidirectionalEncoderRepresentationfromTransformers)[11],該模型可以融合雙向上下文信息,進一步地融合句中語義信息,從而更好地提取含有上下文信息的特征表示;在學習上下文特征方面,HOCHREITERS提出了長短時記憶網絡模型[12],該模型只能獲得與前詞相關的前文信息,無法獲得上下文相關信息。XIAOZ等在LSTM的基礎上提出雙向長短期記憶網絡模型(BidirectionalLongShort-termMemory,BiLSTM)[13],該模型通過設計前后2個方向的LSTM,分別獲得當前詞與上下文的關系。現有的推薦算法大多利用顯式的評級信息進行推薦[14],但大部分平臺上的用戶只產生用戶瀏覽和點擊等隱式的交互信息[15],這使得傳統的基于評分預測的推薦算法不能滿足相關平臺的需要[16]。近年來,基于用戶隱式歷史反饋信息的推薦算法受到了學術界的廣泛關注,研究發現,隱式反饋在交互環境中可以成為顯式反饋的替代[17],這就為本文利用隱式反饋矩陣作為輸入進行電影推薦提供了可能性。目前,主流的結合隱式反饋的推薦模型大多基于貝葉斯個性化排名框架[18]。DUL等通過增加1個社會正則化項來擴展貝葉斯個性化排名,算法同時針對用戶對商品的偏好及其社會關系進行建模[19],雖然獲得了比BPR更好的推薦質量,但存在建模的不確定性。PANW等在此基礎上進一步提出了GBPR(Group-basedBPR)模型[20],這是一種將用戶對項目的偏好分組進行聚合的方法,以減少建模的不確定性,提高推薦的準確性。隨著深度學習的廣泛應用,WUY等提出協同降噪的自動編碼器(DenoisingAuto-Encoders)[21],利用自動編碼器技術結合隱式反饋,獲得了更好的推薦效果。

　　本文通過BERT+BiLSTM結構提取和學習電影標題中短文本信息的上下文特征,融合文本信息做輔助推薦,解決了梯度消失和梯度爆炸的問題;隱式反饋與深度自編碼器結合,通過矩陣分解,實現數據降維和特征抽取,解決了推薦過程中數據的稀疏問題;在經典數據集Movielens100k和Movielens1M上進行實驗,平均絕對誤差損失值分別降低到0.0458和0.0460,均方誤差損失值分別降低到0.0273和0.0390。

　　1模型構建技術

　　1.1隱式反饋

　　在顯式反饋推薦中,用戶對電影的評分范圍為1~5,表示用戶對電影的傾向程度,分數越高,傾向程度越大。而在隱式反饋推薦中,只包括了用戶對電影有評分和沒有評分2種情況,反映用戶對電影有傾向和暫時沒有傾向。顯式評分矩陣轉換為隱式評分矩陣如圖1所示。圖1中的空白部分表示用戶對電影沒有評分記錄。

　　假設m和n分別表示用戶和電影的集合。定義用戶電影隱式評分矩陣:Rm×n=[rui|u∈m,i∈n](1)rui=1,用戶對電影有評分{0,otherwise(2)式中:Rm×n為使用隱式評分填充的矩陣;rui表示在Rm×n中用戶u對電影i的隱式評分,rui值為1,表示用戶對該電影有傾向,否則沒有。

　　1.2深度自編碼器

　　對于深度自編碼器模型[22-23],網絡結構如圖2所示。

　　輸入層為具有獨熱編碼的稀疏二進制向量,向量傳入嵌入層進行編碼和特征學習。嵌入層由編碼器和解碼器組成,用于映射向量。其中,編碼器的256維全連接層用于將高維原始數據轉換到低維空間,解碼器則為編碼器的逆過程,將低維數據轉換到高維原始空間。

　　在編碼器和解碼器之間存在隱藏層,隱藏層中使用Relu作為激活函數,Relu函數表達式:Relu(e)=max(e,0)(3)同時,為了防止過擬合,還加入了dropout層。dropout率設置為0.1。輸出層的輸出由模型的具體功能決定。本文模型中,深度自編碼器的輸出為用戶對電影的預測評分。

　　1.3BERT+BiLSTM

　　BERT+BiLSTM結構由BERT、BiLSTM模塊組成,BERT+BiLSTM結構如圖3所示。圖3中,BERT模型是基于多層雙向Transformer的預訓練語言理解模型[11],該模型由輸入層、編碼層和輸出層3部分構成。本文利用其編碼層進行字向量的特征提取,編碼層是Transformer[24],即“Trm”層。“Trm”層是由多個重疊的單元組成,并且每個單元由多頭注意力機制和前饋神經網絡組成,單元內部的子層之間設計了殘差連接,可以將上一層的信息完整地傳到下一層,從而計算詞語之間的相互關系,并利用所計算的關系調節權重,提取文本中的重要特征。

　　BiLSTM即雙向長短期記憶網絡的出現是為了解決LSTM在單向的處理中模型只分析到文本的“上文”信息,而忽略可能存在聯系的“下文”信息[25]。本文使用的BiLSTM結構是由向前LSTM和向后LSTM組合而成,較單向的LSTM能夠學習到上下文特征信息,更好地捕捉雙向語義依賴。

　　2多模態深度自編碼器模型

　　融合文本信息的多模態深度自編碼器模型結構如圖4所示。

　　2.1數據預處理

　　根據n個用戶對m部電影的評分生成隱式反饋評分矩陣Rm×n,根據電影類型文本信息和電影標題文本信息分別生成用戶-電影類型矩陣Ruser×genres和用戶-電影標題矩陣Ruser×title,3個矩陣均為由one-hot向量組成的矩陣。

　　2.2模型輸入

　　將Rm×n作為深度自編碼器的原始輸入,Ruser×genres作為模型中嵌入層的輸入,將Ruser×title作為BERT+BiLSTM結構的輸入。

　　2.3特征學習

　　深度自編碼器對Rm×n進行1次編碼解碼得到評分特征Tm×n;Ruser×genres經過嵌入層、平滑層和全連接層進行特征學習,得到電影類型文本特征Tuser×genres;在BERT+BiLSTM結構中,BERT部分實現對Ruser×title進行文本數據向量化和特征提取,BiLSTM部分則實現向量化特征學習,得到電影標題的上下文特征Tuser×title。

　　2.4特征融合

　　獲取學習到的特征Tm×n、Tuser×genres和Tuser×title,假設T為融合后的特征,使用函數Concatenate對3個特征實現特征融合,即T=Concatenate(Tm×n,Tuser×genres,Tuser×title)(4)將T再次輸入深度自編碼器中,對T實現二次編碼解碼,得到預測評分矩陣R'm×n。

　　2.5模型輸出

　　輸出預測評分矩陣R'm×n,用于后續電影推薦。

　　3結果與分析

　　3.1數據集

　　為了驗證本文模型的有效性,采用Movielens100k和Movielens1M電影評分數據集。它由明尼蘇達大學的Lens研究小組提供,用于測試和驗證所提出的模型和其他用于比較的模型的性能。

　　在讀取數據后,用評分數據填充評分矩陣,以用戶為行,項目為列,分別構成Movielens100k和Movielens1M的矩陣。MovieLens1M和Movielens100k數據集描述信息見表1。

　　3.2評價指標

　　采用均方誤差(MSE,簡記為EMS)和平均絕對誤差(MAE,簡記為EMA)評價模型的預測性能:EMS=1n∑nui=1(rui-^rui)2(5)EMA=1n∑nui=1|(rui-^rui)|(6)式中:n為預測電影的總數,rui表示用戶u在電影i上的預測評分,^rui表示用戶u在電影i上的真實評分。

　　3.3模型設置

　　本文模型的整體實現環境為Keras=2.2.4,Tensorflow-gpu=1.12.0。在優化器選取中,分別采用Adadelta、Adagrad、Adam、Adamax、RMSprop以及SGD等6個主流優化器進行對比實驗,在不同優化器下取得的均方誤差見表2。

　　從表2可以看出,在Movielens1M數據集下,Adam優化器取得了最低損失值;在Movielens100k數據集下,Adagrad優化器取得了最低損失值,而Adam優化器的損失值與Adagrad優化器相差0.0036,均方誤差結果處于中等。究其原因可知,通過與Movielens1M對比,Movielens100k數據集的數據量過小,易造成精度過低和損失率升高,所以求取在2個數據集下MSE的平均值,以平均值作為衡量標準,得到Adam優化器明顯優于其他優化器。

　　因此,本文模型采用Adam優化器,設置初始學習率為0.0001,batch-size為64,在數據集MovieLens1M和Movielens100k的基礎下訓練模型。

　　3.4對比實驗

　　圖5~6分別為基于Movielens1M和Movielens100k數據集,MAE和MSE在訓練數據和測試數據上隨訓練輪數增加的變化情況。

　　從圖5~6可以看出,在Movielens1M和Movielens100k數據集上,隨著訓練輪數的增加,EMA和EMS損失值先迅速下降然后趨于平穩。究其原因可知,隨著訓練數據集的增加及訓練輪數的增長,模型能夠學習到的用戶和電影的特征增多,使模型預測更準確,因此損失下降。而當模型能夠學習到的特征趨于飽和時,隨著輪數的增長,損失值則趨于平穩。

　　因為SVD和PMF是依照矩陣分解原理實現推薦的傳統算法以及實驗條件的限制,所以選取這2種算法與本文模型進行實驗對比,以MAE作為評價指標。

　　不同模型在不同數據集上的MAE損失見表3。

　　從表3可以看出,在2個不同的數據集上,本文模型的結果明顯優于所比較的傳統算法。在本文模型中,對不同矩陣實現了針對性處理,因此在訓練模型的過程中,提升了矩陣分解的效率和模型的預測效果,從而使損失值降低。但是,在Movielens1M數據集和Movielens100k數據集上,單個模型的MAE值差別不大,針對本文模型而言,僅相差0.0002。原因可能在于MAE評價指標對數據集中的異常點有更好的魯棒性,而且使用固定學習率訓練模型時,更新的梯度始終相同,不利于MAE值的收斂以及模型的學習。

　　由于數據集較為穩定,并且MSE在固定的學習率下可以實現有效收斂,因此在MSE評價指標下,進行了更為詳細的對比實驗。

　　表4給出了本文模型、SVD、PMF、PMMMF、SCC、RMbDn及Hern的MSE損失值。

　　從表4可以看出,本文模型在Movielens1M數據集的基礎上進行實驗時,損失值降低到0.0273,明顯低于其他對比模型的損失值。而在Movielens100k上進行實驗時,得到的損失值與RMbDn模型以0.0390并列第一。分析原因可知,RMbDn和本文模型均使用深度學習進行推薦,能夠更好地捕捉到深層次的語義信息,因此對比其他模型,取得了更好的效果;同時觀察表4,發現本文模型在Movielens100k上的損失相較在Movielens1M上增加了0.0117,存在較大差異。分析原因可知,Movielens100k相較于Movielens1M數據量小,因此在小樣本下使用深度學習網絡對標題、類型等文本數據的語義信息進行理解時,可能較難學習到語義信息對用戶興趣遷移的影響,從而使相同模型在不同數據集上的損失值升高。因此本文提出的模型更適合在數據量較大的情況下使用。

　　綜上所述,與已有的主流模型相比,本文模型具有更低的損失值,說明將文本信息融合在深度自編碼器中可獲得更多評分預測的信息,提高個性化推薦效率。

　　4結論

　　1)提出了融合文本信息的多模態深度自編碼器推薦模型,在2個公開數據集上進行實驗,驗證了模型的有效性,達到了性能提升的效果。

　　2)該模型將隱式反饋評分矩陣作為基礎,使用BERT+BiLSTM結構和模型的嵌入層,實現不同文本信息的特征學習,在深度自編碼器中完成不同特征的深層次融合,可明顯降低推薦過程中的損失。

　　3)由于顯式反饋仍存在研究的價值,應考慮結合顯式反饋信息進行混合推薦。