第1 章引論
1.1 推薦系統(tǒng)概述
1.1.1 推薦系統(tǒng)：動機與現狀
因特網的崛起和迅猛發(fā)展使人們獲得了前所未有的自由信息空間，也使得世界范圍內的信息處于大爆炸狀態(tài)，造成信息量大、信息質量差、信息價值低等問題，用戶難以從過量信息中獲取對自己有用的部分，這就是所謂的信息過載(information overload)[1] 。正如文獻[2]中所言，數據是廣泛可用的，所缺乏的是從中提取出知識的能力。為應對信息過載問題，大量信息過濾網絡工具應運而生，人們最常用的莫過于門戶網站和搜索引擎，但這些工具都是以面向人們主流需求為主，且用戶獲取信息的方式是“被動”的。
顯然，考慮個性化需求，將有用信息以“主動”方式推送(push) 給用戶不僅能過濾信息，而且能增強用戶體驗，推送的信息也更符合用戶個體的需求。簡信息聚合(really simple syndication，RSS)是一種在主動信息推送服務方面的典型工具。RSS 是一種消息來源格式規(guī)范，能夠將新聞標題、摘要、內容按照用戶的要求“送”到用戶桌面。但是，在RSS 中，用戶興趣通常是由用戶預先給定的關鍵詞來描述，但缺乏自動挖掘用戶興趣的功能。
推薦系統(tǒng)(recommender systems) 是一種為用戶提供建議的智能化軟件工具，是解決信息過載問題非常有潛力的方法[3] 。推薦系統(tǒng)的研究與開發(fā)始于20 世紀90 年代初期。第一個推薦系統(tǒng)是Tapestry[4] ，是針對電子郵件的推薦系統(tǒng)。該推薦系統(tǒng)通過分析用戶閱讀郵件的歷史行為來對新郵件重新排序，試圖將用戶更感興趣的新郵件推薦給他/她。更為重要的是，Tapestry 首次提出了協同過濾(collaborative filtering，CF)的概念[4] 。后續(xù)的推薦系統(tǒng)領域研究表明，協同過濾對推薦系統(tǒng)的發(fā)展產生了深遠影響，成為關注最多、應用最廣泛的方法之一。
推薦系統(tǒng)與以搜索引擎為代表的信息檢索技術本質區(qū)別[5] 在于：①搜索注重結果之間的關系和排序，而推薦則需研究用戶興趣模型，即結合考慮用戶與推薦對象的特征；②搜索由用戶主導，包括輸入查詢詞和選擇結果，若結果不好，用戶會修改查詢再次搜索，而推薦則由系統(tǒng)主導用戶的瀏覽順序，主動引導用戶發(fā)現需要的結果。
·2·電子商務推薦系統(tǒng)導論
從20 世紀90 年代初期到現在，推薦系統(tǒng)受到學術界和工業(yè)界的長期關注，成為炙手可熱的研究議題。推薦系統(tǒng)是一門典型的交叉學科，涵蓋計算機科學、電子商務、人類社會學、物理學、經濟學等諸多領域，圖1.1 給出2013 年國際頂級會議ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD) 投稿數量的分布，可以看出，推薦系統(tǒng)在20 個領域中排名第三，其熱度由此可見一斑。從2007 年開始，ACM 設立了專門討論推薦系統(tǒng)的國際會議，ACM Recommender Systems Conference (RecSys) 至今已舉辦8 屆，其知名度持續(xù)上升。從2006 年開始，美國密歇根大學Paul Resnick 教授開設了“推薦系統(tǒng)”課程。


圖1.1 KDD 2013 年投稿數量領域分布
隨著社會網絡、物聯網、大數據等新概念和新技術的出現和升溫，信息過載問題將日益嚴重，同時，工業(yè)界的需求導致用戶對信息獲取方式的要求也變得越來越高。推薦系統(tǒng)作為既能應對信息過載，又能智能化地為用戶主動推送信息的強有力手段，可以預計，在今后數十年內，推薦系統(tǒng)仍然將獲得持續(xù)關注，更加有效和高效的推薦系統(tǒng)將在人類信息化進程中扮演越來越重要的角色。
1.1.2 電子商務：推薦系統(tǒng)最重要的應用領域
Companies need to shift from the old world of mass production where “standardized products， homogeneous markets， and long product life and development cycles were the rule” to the new world where “variety and customization supplant standardized products”. 
quoted from “Mass Customization”by Joe Pine[6] 
第1 章引論·3·
以上內容引自Joe Pine 的著作“Mass Customization”，說明了企業(yè)由傳統(tǒng)模式過渡到現代模式的法則，需要從傳統(tǒng)標準化商品過渡到多樣化的定制商品，其隱含意思就是充分考慮用戶個性化需求。這段話恰當地說明了推薦系統(tǒng)為何在電子商務領域得到良好發(fā)展和應用的原因。用戶的需求通常是模糊的，而商家期望能夠把滿足用戶模糊需求的商品推薦給用戶，把用戶潛在需求轉化為現實需求，從而達到提升商品銷售量的目標。
電子商務將企業(yè)的銷售行為從線下實體店銷售搬到了在線銷售，用戶行為和商品信息的數字化更加促進推薦系統(tǒng)的應用。目前，幾乎所有的大型電子商務網站都不同程度地采用了推薦系統(tǒng)[5] ，電子商務成為推薦系統(tǒng)最重要的應用領域，同時，電子商務企業(yè)的應用和研究也促進了推薦系統(tǒng)的發(fā)展，比如，Amazon 在10 年前提出了基于項目的協同過濾方法[7] ，并沿用至今。推薦系統(tǒng)為電子商務企業(yè)帶來了新的營銷觀念，即“一對一營銷”，正如Amazon CEO Jeff Bezos 所說，“如果我們有200 萬個網絡客戶，我們就需要在線儲備200 萬種商品”�？偟膩碚f，推薦系統(tǒng)能為電子商務企業(yè)帶來以下三方面的收益[8] 。
(1) 提升瀏覽到購買的轉化率。網站訪問者經常漫無目的地瀏覽網站，卻不購買任何商品，推薦系統(tǒng)能幫助訪問者發(fā)現其感興趣的商品，從而促進訪問者到購買者的轉化。


(2) 提升交叉銷售量。推薦系統(tǒng)通過向用戶推薦與其已購買商品相關聯的商品，用戶在購買的最后步驟，網站會向用戶推薦與購物車內商品極為相關的附屬商品。


(3) 提升用戶忠誠度。如何提升用戶忠誠度或黏粘度是電子商務網站的核心商業(yè)策略之一，推薦系統(tǒng)建立起網站與用戶之間的聯系，為提升用戶忠誠度提供附加值，用戶往往會重復訪問與其興趣偏好相匹配的網站，甚至會將這些網站推薦給自己的朋友圈。




在競爭日趨激烈的環(huán)境下，電子商務推薦系統(tǒng)能夠為電子商務網站有效保留用戶，提高電子商務系統(tǒng)績效，產生巨大的經濟效益。構建一個推薦效率高、精度高而且UI 界面合理的商品推薦系統(tǒng)對于電子商務網站的發(fā)展十分重要，推薦系統(tǒng)也因此成為工業(yè)界的關注熱點。
1.1.3 推薦系統(tǒng)：形式化建模
一般地，推薦系統(tǒng)包含兩類實體：用戶(user)和項目(item) 。用戶是指被推薦對象，無需過多解釋。而項目則是指推薦對象，推薦系統(tǒng)領域的所有英文文獻都使用“item”一詞來表達，本書統(tǒng)一將“item ”譯為“項目”，泛指不同領域的推薦對象。比如，電子商務推薦系統(tǒng)中，項目表示商品或物品；音樂和電影推薦系統(tǒng)中，項目則表示CD 和DVD；新聞推薦系統(tǒng)中，項目又表示新聞網頁，等等。盡管“項目”有可能與英語“project”一詞相混淆，但是，將推薦實體“item ”譯為“項目”在
·4·電子商務推薦薦系統(tǒng)導論
推薦系統(tǒng)領域的中文文獻中廣廣泛出現[5，9-12]]。
推薦系統(tǒng)輸入數據的最簡單形式是用戶戶對項目的評分分數據，稱為用用戶-項目評分矩陣(user-iteem rating matriix)，大部分數據據集采用5 分制制(或5 星制)評評分，即5 分表示最滿意，依依次遞減。盡管管實際電子商務務系統(tǒng)提供了用用戶對購買中不不同方面的評分，如圖1.2 所所示的淘寶網評評分體系，就支持持“寶貝與描述述相符”、“賣家家服務態(tài)度”、“賣家發(fā)貨速度度”3 種不同子子項。但是，在在推薦系統(tǒng)形式式化建模時卻通通常只考慮綜合評分。同時，用戶-項目評評分矩陣不一定定都是顯式給出出，也可以基于于隱含的用戶和項目關系推測得到。如果用用戶對某項目評評過分，其偏好好已經從用戶--項目評分矩陣中反映出來，，已評分項目就就不作為推薦給給用戶的候選對象象。因此，推薦薦系統(tǒng)工作時試圖預測用戶對對未評分項目的的偏好程度，由預測分值反映。�；�于上述分析析，推薦系統(tǒng)
本質是基于已有
有的用戶-項目評
:
(評分矩陣稱為訓.


訓練集)，尋找一
，
一個準確的預測


測函數P：
1.1


， 


，


其中，U 和I 分別表示用戶和和項目的集合，，任意待預測的的用戶項目對(uu，i)在訓練集中的評分為空值值。一旦利用預預測函數P 對對用戶-項目評分分矩陣缺失值計計算出預測分值后，就很容易易產生推薦，即即將預測分值最最高的項目(或N 個分值最高的的項目集合) 
這這一過程形式化化為


推薦給用戶，




，
1.2
aargmax


， 


圖1.2 淘寶網網評分體系
第1 章引論·5·
集合U 和I 在實際中都非常大，用戶規(guī)模很容易達到百萬級，項目規(guī)模則更大，這導致超大規(guī)模的用戶-項目評分矩陣，因此，依靠遍歷評分矩陣整個空間設計預測函數P 在計算上不可行。圍繞計算預測值的效率問題，推薦系統(tǒng)提出了大量各種各樣的模型和算法，如基于內容的、協同過濾、混合型、基于矩陣分解的方法等。
推薦算法(recommendation algorithm) 決定了預測函數P 的設計和計算，是整個推薦系統(tǒng)最核心和關鍵的部分，在很大程度上決定了推薦系統(tǒng)的類型和性能優(yōu)劣。推薦算法也因此成為探討推薦系統(tǒng)的核心部分，本書后續(xù)章節(jié)正是圍繞主流推薦算法來介紹電子商務推薦系統(tǒng)。盡管推薦系統(tǒng)是一門交叉學科，與其聯系最緊密的是數據挖掘(data mining) ，數據挖掘是自動地從大規(guī)模數據集中發(fā)現有用信息的過程，幾乎所有的推薦算法都可以被認為是一種數據挖掘技術[13] 。數據挖掘過程大致可分為三個階段：數據預處理、數據分析以及結果解析，圖1.3 描述了這三個階段中與推薦算法密切相關的數據挖掘方法。在數據預處理階段，距離計算、抽樣、維度約簡等技術經常被用于協同過濾算法。在數據分析階段，分類技術經常被用于基于內容的推薦算法，關聯規(guī)則挖掘形成了一種單獨的推薦算法，聚類可用于具有相似興趣的用戶群組發(fā)現及具有相似屬性的商品群組發(fā)現。


圖1.3 推薦系統(tǒng)中經常使用的數據挖掘技術(圖片來源：文獻[13]) 
1.2 推薦系統(tǒng)研究概覽
1.2.1 挑戰(zhàn)性問題
推薦系統(tǒng)的研究是圍繞其面臨的挑戰(zhàn)性問題而展開的，因此，首先應在清楚了
·6·電子商務推薦系統(tǒng)導論
解挑戰(zhàn)性問題的基礎上，來進一步闡釋已有的推薦系統(tǒng)研究工作。本書后續(xù)章節(jié)將圍繞針對推薦系統(tǒng)所面臨的挑戰(zhàn)性問題的研究工作而展開論述，試圖為推薦系統(tǒng)這一活躍的研究領域勾勒出較為全面、清晰的概貌。
1. 推薦算法的準確度和可擴展性
推薦算法一直是推薦系統(tǒng)研究中最核心的問題，關注焦點包括準確度和可擴展性兩個方面。準確度是衡量算法的有效性(effectiveness) ，可擴展性是衡量算法的效率(efficiency) 。目前，如何設計效率快且準確度高的算法仍然是一個開放性話題，百家爭鳴，各種各樣的推薦算法被提出。導致這一挑戰(zhàn)的根本原因在于數據呈現高度稀疏性，即用戶和項目規(guī)模通常達到百萬級，甚至千萬級，而已知的評分數據又比較稀少，基于如此稀疏的數據，設計兼顧有效性和效率的算法卻是一大挑戰(zhàn)。目前已有的研究大多沿著兩種思路來設計推薦算法：一種是以稀疏的用戶-項目評分矩陣為輸入數據，依托數據挖掘技術，提出新的模型和算法，包括協同過濾及其各種變例、基于內容的推薦、基于維度約簡的各類模型以及基于關聯規(guī)則挖掘的推薦等，將在第2 章介紹這些算法；另一種是在用戶-項目評分矩陣的基礎上，融入更多的額外數據以緩解稀疏性。將在第3 章討論的情境推薦模型與算法中考慮推薦的上下文信息，可能包括用戶購買意圖、季節(jié)、節(jié)日、位置、同伴、天氣等因素。將在第4 章討論的社會化推薦模型與算法中則考慮用戶的社會關系信息，將推薦系統(tǒng)與社會網絡結合到一起。
從算法采用的模型來看，無論是單一的評