前　言

篇　推薦系統(tǒng)基礎(chǔ)認知

第1章　推薦系統(tǒng)介紹 2

1.1　推薦系統(tǒng)產(chǎn)生的背景 2

1.2　推薦系統(tǒng)解決什么問題 3

1.3　推薦系統(tǒng)的應(yīng)用領(lǐng)域 3

1.4　推薦系統(tǒng)的定義 4

1.5　常用的推薦算法 5

1.5.1　基于內(nèi)容的推薦 5

1.5.2　協(xié)同過濾 5

1.5.3　基于模型的推薦 6

1.5.4　基于社交關(guān)系的推薦 6

1.6　構(gòu)建推薦系統(tǒng)的阻礙與挑戰(zhàn) 6

1.7　推薦系統(tǒng)的價值 7

1.8　本章小結(jié) 8

第二篇　推薦系統(tǒng)基礎(chǔ)算法

第2章　推薦算法基礎(chǔ) 10

2.1　推薦系統(tǒng)范式 10

2.2　推薦算法3階段pipeline架構(gòu) 14

2.3　推薦召回算法 15

2.3.1　完全非個性化范式 15

2.3.2　完全個性化范式 15

2.3.3　群組個性化范式 19

2.3.4　標的物關(guān)聯(lián)標的物范式 20

2.3.5　笛卡兒積范式 22

2.4　排序算法 22

2.4.1　logistic回歸模型 23

2.4.2　GBDT模型 24

2.4.3　Wide & Deep模型 24

2.5　推薦算法落地需要關(guān)注的幾個問題 24

2.5.1　推薦算法工程落地一定要用到排序模塊嗎 24

2.5.2　推薦算法服務(wù)于用戶的兩種形式 25

2.5.3　推薦系統(tǒng)評估 25

2.6　本章小結(jié) 25

第3章　基于內(nèi)容的推薦算法 27

3.1　什么是基于內(nèi)容的推薦算法 27

3.2　基于內(nèi)容的推薦算法的實現(xiàn)原理 28

3.2.1　基于用戶和標的物特征為用戶推薦的核心思想 29

3.2.2　構(gòu)建用戶特征表示 29

3.2.3　構(gòu)建標的物特征表示 30

3.2.4　為用戶做個性化推薦 36

3.3　基于內(nèi)容的推薦算法應(yīng)用場景 39

3.4　基于內(nèi)容的推薦算法的優(yōu)缺點 40

3.4.1　優(yōu)點 41

3.4.2　缺點 41

3.5　基于內(nèi)容的推薦算法落地需要關(guān)注的問題 42

3.5.1　內(nèi)容來源的獲取 42

3.5.2　怎么利用負向反饋 43

3.5.3　興趣隨時間變化 44

3.5.4　數(shù)據(jù)清洗 44

3.5.5　加速計算與節(jié)省資源 44

3.5.6　解決基于內(nèi)容的推薦越推越窄的問題 44

3.5.7　工程落地技術(shù)選型 45

3.5.8　業(yè)務(wù)的安全性 45

3.6　本章小結(jié) 45

第4章　協(xié)同過濾推薦算法 47

4.1　協(xié)同過濾思想簡介 47

4.2　協(xié)同過濾算法原理介紹 48

4.2.1　基于用戶的協(xié)同過濾 49

4.2.2　基于標的物的協(xié)同過濾 49

4.3　離線協(xié)同過濾算法的工程實現(xiàn) 49

4.3.1　計算topN相似度 50

4.3.2　為用戶生成推薦 52

4.4　近實時協(xié)同過濾算法的工程實現(xiàn) 54

4.4.1　獲取用戶在一個時間窗口內(nèi)的行為 54

4.4.2　基于用戶行為記錄更新標的物關(guān)聯(lián)表CR 55

4.4.3　更新用戶的行為記錄HBase表：UAction 55

4.4.4　為用戶生成個性化推薦 55

4.5　協(xié)同過濾算法的應(yīng)用場景 57

4.5.1　完全個性化推薦 57

4.5.2　標的物關(guān)聯(lián)標的物推薦 58

4.5.3　其他應(yīng)用形式及場景 58

4.6　協(xié)同過濾算法的優(yōu)缺點 58

4.6.1　優(yōu)點 59

4.6.2　缺點 59

4.7　協(xié)同過濾算法落地到業(yè)務(wù)場景需要關(guān)注的問題 60

4.7.1　兩種協(xié)同過濾算法的選擇 60

4.7.2　對時間加權(quán) 60

4.7.3　關(guān)于用戶對標的物的評分 61

4.7.4　相似度計算 61

4.7.5　冷啟動問題 62

4.8　本章小結(jié) 63

第5章　基于樸素ML思想的協(xié)同過濾算法 65

5.1　基于關(guān)聯(lián)規(guī)則的推薦算法 65

5.2　基于樸素貝葉斯的推薦算法 67

5.3　基于聚類的推薦算法 70

5.3.1　基于用戶聚類的推薦 70

5.3.2　基于標的物聚類的推薦 71

5.4　YouTube基于關(guān)聯(lián)規(guī)則思路的視頻推薦算法 71

5.4.1　計算兩個視頻的相似度（關(guān)聯(lián)度） 72

5.4.2　基于單個種子視頻生成候選視頻集 72

5.4.3　基于用戶行為為用戶生成推薦候選集 72

5.4.4　推薦結(jié)果排序 73

5.5　Google News基于貝葉斯框架的推薦算法 74

5.5.1　基于用戶過去的行為來分析用戶的興趣點 75

5.5.2　利用貝葉斯框架來建模用戶的興趣 75

5.5.3　為用戶做個性化推薦 78

5.6　Google News基于用戶聚類的推薦算法 78

5.6.1　基于MinHash聚類 78

5.6.2　基于聚類為用戶做推薦 80

5.7　本章小結(jié) 80

第6章　矩陣分解推薦算法 83

6.1　矩陣分解推薦算法的核心思想 83

6.2　矩陣分解推薦算法的算法原理 84

6.3　矩陣分解推薦算法的求解方法 85

6.3.1　利用SGD來求解矩陣分解 85

6.3.2　利用ALS來求解矩陣分解 86

6.4　矩陣分解推薦算法的拓展與優(yōu)化 87

6.4.1　整合偏差項 87

6.4.2　增加更多的用戶信息輸入 87

6.4.3　整合時間因素 88

6.4.4　整合用戶對評分的置信度 89

6.4.5　隱式反饋 89

6.4.6　整合用戶和標的物metadata信息 90

6.5　近實時矩陣分解算法 91

6.5.1　算法原理 92

6.5.2　工程實現(xiàn) 94

6.6　矩陣分解算法的應(yīng)用場景 97

6.6.1　應(yīng)用于完全個性化推薦場景 97

6.6.2　應(yīng)用于標的物關(guān)聯(lián)標的物場景 98

6.6.3　應(yīng)用于用戶及標的物聚類 98

6.6.4　應(yīng)用于群組個性化場景 98

6.7　矩陣分解算法的優(yōu)缺點 99

6.7.1　優(yōu)點 99

6.7.2　缺點 100

6.8　本章小結(jié) 101

第7章　因子分解機 103

7.1　分解機簡單介紹 103

7.2　分解機參數(shù)預(yù)估與模型價值 105

7.2.1　分解機在稀疏場景下的參數(shù)估計 106

7.2.2　分解機的計算復(fù)雜度 106

7.2.3　分解機模型求解 107

7.2.4　模型預(yù)測 107

7.3　分解機與其他模型的關(guān)系 108

7.3.1　FM與矩陣分解的聯(lián)系 108

7.3.2　FM與SVM的聯(lián)系 108

7.4　分解機的工程實現(xiàn) 110

7.5　分解機的拓展 112

7.5.1　高階分解機 112

7.5.2　FFM 113

7.5.3　DeepFM 113

7.6　近實時分解機 114

7.7　分解機在推薦系統(tǒng)上的應(yīng)用 114

7.7.1　用戶與標的物的交互行為信息 115

7.7.2　用戶相關(guān)信息 115

7.7.3　標的物相關(guān)信息 115

7.7.4　上下文信息 115

7.8　分解機的優(yōu)勢 116

7.9　本章小結(jié) 117

第三篇　推薦系統(tǒng)進階算法

第8章　推薦系統(tǒng)冷啟動 120

8.1　冷啟動的概念 120

8.2　解決冷啟動面臨的挑戰(zhàn) 121

8.3　解決冷啟動的重要性 121

8.4　解決冷啟動的方法和策略 122

8.4.1　用戶冷啟動 123

8.4.2　標的物冷啟動 125

8.4.3　系統(tǒng)冷啟動 126

8.4.4　新的視角看冷啟動 126

8.5　不同推薦產(chǎn)品形態(tài)解決冷啟動的方案 128

8.6　設(shè)計冷啟動需要注意的問題 129

8.7　冷啟動的未來發(fā)展趨勢 130

8.8　本章小結(jié) 131

第9章　嵌入方法在推薦系統(tǒng)中的應(yīng)用 132

9.1　嵌入方法簡介 132

9.2　嵌入方法應(yīng)用于推薦系統(tǒng)的一般思路 133

9.2.1　學(xué)習標的物的嵌入表示 134

9.2.2　同時學(xué)習用戶和標的物的嵌入表示 135

9.3　用于推薦系統(tǒng)的嵌入方法的算法原理介紹 135

9.3.1　基于矩陣分解的嵌入 135

9.3.2　基于Word2vec的嵌入 136

9.3.3　基于有向圖的嵌入 137

9.3.4　基于深度神經(jīng)網(wǎng)絡(luò)的嵌入 138

9.4　嵌入方法在推薦系統(tǒng)中的應(yīng)用案例介紹 139

9.4.1　利用矩陣分解嵌入做推薦 139

9.4.2　利用Item2vec獲得標的物的嵌入做推薦 139

9.4.3　阿里盒馬的聯(lián)合嵌入推薦模型 140

9.4.4　淘寶基于圖嵌入的推薦算法 143

9.4.5　整合標的物多種信息的Content2vec模型 145

9.5　利用嵌入方法解決冷啟動問題 146

9.5.1　通過ID間的結(jié)構(gòu)連接關(guān)系及特征遷移解決冷啟動問題 146

9.5.2　通過圖片、文本內(nèi)容嵌入解決冷啟動問題 148

9.6　本章小結(jié) 148

第10章　深度學(xué)習在推薦系統(tǒng)中的應(yīng)用 151

10.1　深度學(xué)習介紹 152

10.2　利用深度學(xué)習技術(shù)構(gòu)建推薦系統(tǒng)的方法和思路 153

10.2.1　從推薦系統(tǒng)中使用的深度學(xué)習技術(shù)角度看 154

10.2.2　從推薦系統(tǒng)的預(yù)測目標角度看 154

10.2.3　從推薦算法的歸類角度看 155

10.3　工業(yè)界幾個經(jīng)典深度學(xué)習推薦算法介紹 156

10.3.1　YouTube的深度學(xué)習推薦系統(tǒng) 156

10.3.2　Google的Wide & Deep深度學(xué)習推薦模型 160

10.3.3　阿里基于興趣樹的深度學(xué)習推薦算法 163

10.3.4　Google的神經(jīng)網(wǎng)絡(luò)協(xié)同過濾深度學(xué)習推薦算法 166

10.4　開源深度學(xué)習框架&推薦算法 168

10.4.1　TensorFlow（Keras） 168

10.4.2　PyTorch（Caffe） 169

10.4.3　MxNet 169

10.4.4　DeepLearning4j 170

10.4.5　百度的PaddlePaddle 170

10.4.6　騰訊的Angel 170

10.4.7　微軟開源的推薦算法庫recommenders 171

10.5　深度學(xué)習技術(shù)應(yīng)用于推薦系統(tǒng)的優(yōu)缺點及挑戰(zhàn) 171

10.5.1　優(yōu)點 171

10.5.2　缺點與挑戰(zhàn) 172

10.6　深度學(xué)習推薦系統(tǒng)工程實施建議 174

10.6.1　深度學(xué)習的效果真的有那么好嗎 174

10.6.2　團隊是否適合引入深度學(xué)習推薦技術(shù) 174

10.6.3　打通深度學(xué)習相關(guān)技術(shù)棧與團隊現(xiàn)有技術(shù)棧 175

10.6.4　從經(jīng)典成熟的模型與跟公司業(yè)務(wù)接近的模型著手 175

10.7　深度學(xué)習推薦系統(tǒng)的未來發(fā)展 176

10.7.1　算法模型維度 176

10.7.2　工程維度 176

10.7.3　應(yīng)用場景維度 177

10.7.4　數(shù)據(jù)維度 177

10.7.5　產(chǎn)品呈現(xiàn)與交互維度 178

10.8　本章小結(jié) 178

第11章　混合推薦系統(tǒng)介紹 182

11.1　什么是混合推薦系統(tǒng) 182

11.2　混合推薦系統(tǒng)的價值 183

11.2.1　冷啟動問題 183

11.2.2　數(shù)據(jù)稀疏性問題 183

11.2.3　馬太效應(yīng) 183

11.2.4　灰羊效應(yīng) 183

11.2.5　投資組合效應(yīng) 184

11.2.6　穩(wěn)定性/可塑性問題 184

11.3　混合推薦系統(tǒng)的實現(xiàn)方案 185

11.3.1　單體的混合范式 185

11.3.2　并行的混合范式 186

11.3.3　流水線混合范式 187

11.4　工業(yè)級推薦系統(tǒng)與混合推薦 188

11.4.1　實時推薦系統(tǒng)與混合推薦 190

11.4.2　深度學(xué)習等復(fù)雜推薦模型整合多數(shù)據(jù)源和多模型 190

11.4.3　特殊情況下的處理策略 191

11.4.4　推薦數(shù)量不足的增補 191

11.4.5　通過混合策略解決用戶冷啟動 191

11.5　對混合推薦系統(tǒng)的思考 192

11.5.1　整合實時推薦中用戶的短期和長期興趣 193

11.5.2　利用單個復(fù)雜模型建模多源信息 193

11.5.3　多源的標的物混合 193

11.5.4　家庭場景中多人興趣的混合推薦 194

11.5.5　用戶在多APP場景下行為的混合 195

11.5.6　用戶多狀態(tài)（場景）的融合推薦 195

11.6　本章小結(jié) 195

第12章　構(gòu)建可解釋性推薦系統(tǒng) 198

12.1　可解釋性推薦系統(tǒng)簡介 198

12.1.1　什么是推薦解釋 198

12.1.2　推薦解釋的價值 199

12.1.3　互聯(lián)網(wǎng)推薦產(chǎn)品的推薦解釋模型 200

12.1.4　推薦解釋的形式 200

12.1.5　推薦解釋的現(xiàn)狀 200

12.2　構(gòu)建可解釋性推薦系統(tǒng)的方法 201

12.2.1　基于用戶關(guān)系來做推薦解釋 201

12.2.2　基于標的物相似關(guān)系來做推薦解釋 203

12.2.3　基于標簽來做推薦解釋 203

12.2.4　其他推薦解釋方式 204

12.3　常用工業(yè)級推薦產(chǎn)品的推薦解釋 205

12.3.1　完全個性化范式的推薦解釋 205

12.3.2　標的物關(guān)聯(lián)標的物范式的推薦解釋 207

12.3.3　其他推薦范式的推薦解釋 208

12.4　做好推薦解釋需要關(guān)注的幾個問題 208

12.5　構(gòu)建可解釋性推薦系統(tǒng)面臨的挑戰(zhàn)與機遇 210

12.5.1　混合推薦算法讓推薦解釋更加困難 210

12.5.2　設(shè)計實時個性化推薦解釋面臨的技術(shù)挑戰(zhàn) 211

12.5.3　企業(yè)管理者/數(shù)據(jù)產(chǎn)品經(jīng)理更關(guān)注精準度而不是解釋性 211

12.5.4　黑盒推薦算法很難解釋 211

12.5.5　普適的推薦解釋框架 211

12.5.6　利用知識圖譜做解釋 211

12.5.7　生成對話式解釋 211

12.6　本章小結(jié) 212

第四篇　推薦系統(tǒng)評估與價值

第13章　推薦系統(tǒng)的評估 214

13.1　推薦系統(tǒng)評估的目的 214

13.2　評估推薦系統(tǒng)的常用指標 215

13.2.1　用戶的維度 215

13.2.2　平臺方的維度 216

13.2.3　推薦系統(tǒng)自身的維度 216

13.2.4　標的物提供方的維度 217

13.3　推薦系統(tǒng)的評估方法 218

13.3.1　離線評估 219

13.3.2　在線評估階段 223

13.3.3　在線評估第二階段 224

13.3.4　主觀評估 225

13.4　推薦系統(tǒng)評估需要關(guān)注的問題 226

13.5　本章小結(jié) 227

第14章　推薦系統(tǒng)的商業(yè)價值 228

14.1　為什么要關(guān)注推薦系統(tǒng)的商業(yè)價值 228

14.2　衡量推薦系統(tǒng)商業(yè)價值的維度 229

14.2.1　廣告變現(xiàn) 230

14.2.2　電商變現(xiàn) 231

14.2.3　增值服務(wù)變現(xiàn) 231

14.2.4　用戶增長 232

14.2.5　成本節(jié)省及效率提升 232

14.3　量化推薦系統(tǒng)商業(yè)價值的思路和方法 233

14.3.1　提升廣告的曝光與轉(zhuǎn)化 233

14.3.2　促進標的物提供方（即商家）生態(tài)繁榮 233

14.3.3　促進標的物售賣，獲取更多經(jīng)濟收益 234

14.3.4　提升會員的轉(zhuǎn)化與留存 234

14.3.5　提升用戶留存率、活躍度和停留時長 234

14.3.6　節(jié)省人力成本 235

14.3.7　提升內(nèi)容分發(fā)效率 235

14.4　提升推薦系統(tǒng)商業(yè)價值需要關(guān)注的問題及建議 235

14.5　本章小結(jié) 237

第五篇　推薦系統(tǒng)工程實現(xiàn)

第15章　推薦系統(tǒng)之數(shù)據(jù)與特征工程 240

15.1　推薦算法建模的一般流程 240

15.2　推薦系統(tǒng)依賴的數(shù)據(jù)源介紹 241

15.2.1　根據(jù)數(shù)據(jù)來源來劃分 241

15.2.2　根據(jù)數(shù)據(jù)載體來劃分 243

15.2.3　根據(jù)數(shù)據(jù)組織形式來劃分 244

15.3　數(shù)據(jù)處理與特征工程簡介 246

15.3.1　數(shù)據(jù)生成 246

15.3.2　數(shù)據(jù)預(yù)處理 248

15.3.3　特征工程 250

15.4　常用推薦算法之數(shù)據(jù)與特征工程 258

15.4.1　排行榜推薦 258

15.4.2　標的物關(guān)聯(lián)標的物推薦 259

15.4.3　個性化推薦 260

15.5　推薦系統(tǒng)數(shù)據(jù)與特征工程的未來趨勢 262

15.5.1　融合更多的數(shù)據(jù)源來構(gòu)建更復(fù)雜的推薦模型 262

15.5.2　深度學(xué)習等復(fù)雜技術(shù)可減少人工特征工程的投入 262

15.5.3　實時數(shù)據(jù)處理與實時特征工程 263

15.5.4　自動化特征工程 263

15.6　本章小結(jié) 264

第16章　推薦系統(tǒng)的工程實現(xiàn) 266

16.1　推薦系統(tǒng)與大數(shù)據(jù) 266

16.2　推薦系統(tǒng)業(yè)務(wù)流及核心模塊 268

16.2.1　數(shù)據(jù)收集模塊 269

16.2.2　ETL模塊 269

16.2.3　特征工程模塊 269

16.2.4　推薦算法模塊 270

16.2.5　推薦結(jié)果存儲模塊 270

16.2.6　Web服務(wù)模塊 271

16.3　推薦系統(tǒng)支撐模塊 272

16.3.1　評估模塊 272

16.3.2　調(diào)度模塊 272

16.3.3　監(jiān)控模塊 272

16.3.4　審查模塊 273

16.4　推薦系統(tǒng)架構(gòu)設(shè)計 273

16.5　推薦系統(tǒng)工程實現(xiàn)的設(shè)計哲學(xué) 279

16.5.1　什么是好的推薦系統(tǒng)工程實現(xiàn) 280

16.5.2　推薦系統(tǒng)工程實現(xiàn)的原則 280

16.5.3　怎樣設(shè)計好的推薦系統(tǒng)工程架構(gòu) 280

16.6　近實時個性化推薦 281

16.7　推薦系統(tǒng)業(yè)務(wù)落地需要關(guān)注的問題 282

16.8　推薦系統(tǒng)的技術(shù)選型 284

16.9　推薦系統(tǒng)工程的未來發(fā)展 285

16.10　本章小結(jié) 285

第17章　AB測試平臺的工程實現(xiàn) 286

17.1　什么是AB測試 286

17.2　AB測試的價值 287

17.3　什么時候需要AB測試 288

17.4　AB測試的應(yīng)用場景 289

17.5　AB測試平臺的核心模塊 290

17.5.1　分組模塊 290

17.5.2　實驗管理模塊 291

17.5.3　業(yè)務(wù)接入模塊 291

17.5.4　行為記錄分析模塊 291

17.5.5　效果評估模塊 292

17.6　業(yè)界流行的AB測試架構(gòu)實現(xiàn)方案　 292

17.7　推薦系統(tǒng)業(yè)務(wù)AB測試實現(xiàn)方案 297

17.8　開發(fā)AB測試平臺需要的資源及支持 301

17.9　構(gòu)建AB測試平臺需要關(guān)注的重要問題 302

17.10　本章小結(jié) 303

第18章　構(gòu)建優(yōu)質(zhì)的推薦系統(tǒng)服務(wù) 304

18.1　推薦服務(wù)背景介紹 304

18.2　什么是優(yōu)質(zhì)的推薦服務(wù) 306

18.2.1　高性能 306

18.2.2　高可用 306

18.2.3　可伸縮 306

18.2.4　可擴展 307

18.2.5　安全性 307

18.3　設(shè)計優(yōu)質(zhì)的推薦服務(wù)面臨的挑戰(zhàn) 307

18.3.1　需要存儲的數(shù)據(jù)量大 308

18.3.2　需要快速及時響應(yīng)用戶請求 308

18.3.3　接口訪問并發(fā)量大 308

18.3.4　業(yè)務(wù)相對復(fù)雜 308

18.4　構(gòu)建優(yōu)質(zhì)服務(wù)的一般原則 309

18.4.1　模塊化 309

18.4.2　數(shù)據(jù)存儲與數(shù)據(jù)緩存 309

18.4.3　負載均衡 309

18.4.4　異步調(diào)用 310

18.4.5　分布式及去中心化 310

18.4.6　分層思想 310

18.5　設(shè)計優(yōu)質(zhì)推薦服務(wù)的可行策略 311

18.5.1　高性能 311

18.5.2　高可用 314

18.5.3　可伸縮 315

18.5.4　可擴展 316

18.5.5　安全性 317

18.6　本章小結(jié) 318

第19章　推薦系統(tǒng)提供Web服務(wù) 319

19.1　什么是推薦系統(tǒng)Web服務(wù) 319

19.2　推薦系統(tǒng)提供Web服務(wù)的兩種方式 321

19.2.1　事先計算式Web服務(wù) 322

19.2.2　實時裝配式Web服務(wù) 324

19.3　兩種Web服務(wù)方式的優(yōu)劣對比 326

19.3.1　事先計算式Web服務(wù)的優(yōu)缺點 326

19.3.2　實時裝配式Web服務(wù)的優(yōu)缺點 327

19.4　影響Web服務(wù)方式的因素及選擇原則 328

19.4.1　推薦產(chǎn)品形態(tài)的時效性對選擇推薦Web服務(wù)的影響 328

19.4.2　技術(shù)及架構(gòu)復(fù)雜性對選擇推薦Web服務(wù)的影響 328

19.4.3　推薦階段對選擇推薦Web服務(wù)的影響 328

19.4.4　算法形態(tài)對選擇推薦Web服務(wù)的影響 329

19.5　本章小結(jié) 329

第20章　實時個性化推薦 331

20.1　實時推薦系統(tǒng)背景介紹 331

20.2　實時推薦系統(tǒng)的價值 333

20.3　實時推薦系統(tǒng)的應(yīng)用場景 334

20.3.1　新聞資訊類 335

20.3.2　短視頻類 335

20.3.3　婚戀、陌生人社交類 336

20.3.4　直播類 336

20.3.5　電商類 337

20.3.6　音樂、電臺類 337

20.4　實時推薦系統(tǒng)的整體架構(gòu) 338

20.4.1　Lambda架構(gòu) 339

20.4.2　Kappa架構(gòu) 343

20.5　實時推薦系統(tǒng)的技術(shù)選型 345

20.5.1　離線部分算法的技術(shù)選型 345

20.5.2　實時部分算法的技術(shù)選型 345

20.6　實時推薦算法與工程實現(xiàn) 346

20.7　構(gòu)建實時推薦系統(tǒng)面臨的困難和挑戰(zhàn) 347

20.8　實時推薦系統(tǒng)的未來發(fā)展 347

20.8.1　實時推薦是未來推薦發(fā)展的方向 348

20.8.2　每個人都有望擁有為自己服務(wù)的個性化算法 348

20.8.3　實時推薦應(yīng)用場景的多樣性 349

20.8.4　實時交互方式趨于多元化 349

20.9　本章小結(jié) 350

第六篇　推薦系統(tǒng)產(chǎn)品與運營第21章　推薦系統(tǒng)產(chǎn)品 354

21.1　推薦產(chǎn)品簡介 354

21.2　推薦產(chǎn)品形態(tài)介紹 355

21.2.1　基于用戶維度的推薦 355

21.2.2　基于標的物維度的推薦 357

21.2.3　基于用戶和標的物交叉維度的推薦 359

21.3　推薦產(chǎn)品的應(yīng)用場景 360

21.4　設(shè)計優(yōu)質(zhì)推薦產(chǎn)品的要點 361

21.5　本章小結(jié) 362

第22章　推薦系統(tǒng)的UI交互與視覺展示 363

22.1　信息獲取與推薦系統(tǒng) 363

22.2　交互設(shè)計的基本原則 365

22.3　推薦系統(tǒng)的UI交互 367

22.3.1　什么是推薦系統(tǒng)的UI交互 367

22.3.2　設(shè)計好的UI交互的原則 368

22.3.3　UI交互在推薦系統(tǒng)中的價值 371

22.4　推薦系統(tǒng)的視覺展示 372

22.4.1　什么是推薦系統(tǒng)的視覺要素 373

22.4.2　視覺要素展示的一般原則 373

22.4.3　視覺要素展示的價值 376

22.5　關(guān)于推薦系統(tǒng)UI交互和視覺展示的展望 376

22.6　本章小結(jié) 378

第23章　推薦系統(tǒng)與精細化運營 379

23.1　運營簡介 379

23.2　數(shù)據(jù)化運營 381

23.3　精細化運營 383

23.3.1　精細化運營的概念 383

23.3.2　精細化運營的特點 384

23.3.3　為什么說現(xiàn)在進入了精細化運營時代 384

23.3.4　精細化運營面臨的挑戰(zhàn) 385

23.3.5　精細化運營的流程與方法 385

23.4　用戶畫像介紹 386

23.4.1　用戶畫像的概念 387

23.4.2　標簽的分類 387

23.4.3　用戶畫像構(gòu)建流程 389

23.4.4　用戶畫像平臺的基礎(chǔ)架構(gòu) 390

23.4.5　用戶畫像的應(yīng)用場景 391

23.5　推薦系統(tǒng)與精細化運營 394

23.5.1　推薦系統(tǒng)是精細化運營的形式 394

23.5.2　推薦系統(tǒng)與精細化運營的區(qū)別與聯(lián)系 395

23.5.3　利用推薦系統(tǒng)的思路進行精細化運營 396

23.5.4　利用推薦系統(tǒng)的思路進行精細化運營面臨的困境 397

23.6　本章小結(jié) 398

第24章　推薦系統(tǒng)的人工調(diào)控策略 399

24.1　什么是推薦系統(tǒng)的人工調(diào)控 399

24.2　為什么要進行人工調(diào)控 400

24.2.1　用戶體驗 401

24.2.2　安全性 401

24.2.3　商業(yè)價值 402

24.2.4　運營需要 402

24.2.5　降低人力成本 403

24.3　怎樣進行人工調(diào)控 404

24.3.1　數(shù)據(jù)層面的人工調(diào)控 404

24.3.2　特征層面的人工調(diào)控 405

24.3.3　模型層面的人工調(diào)控 406

24.3.4　結(jié)果層面的人工調(diào)控 407

24.3.5　展示層面的人工調(diào)控 407

24.3.6　效果層面的人工調(diào)控 409

24.4　怎樣評估人工調(diào)控的價值 409

24.5　人工調(diào)控面臨的挑戰(zhàn) 410

24.5.1　知識層面的脫節(jié)，溝通不暢 410

24.5.2　很難精確評估對推薦系統(tǒng)的影響范圍 410

24.5.3　為運營人員提供方便操控的界面是關(guān)鍵 411

24.6　人與機器的有效協(xié)作 411

24.7　本章小結(jié) 412

第七篇　推薦系統(tǒng)案例分析

第25章　從零開始構(gòu)建企業(yè)級推薦系統(tǒng) 414

25.1　Why：你的產(chǎn)品為什么需要推薦系統(tǒng) 414

25.2　Who：讓誰來搭建推薦系統(tǒng) 415

25.2.1　自建推薦系統(tǒng) 415

25.2.2　通過外包構(gòu)建推薦系統(tǒng) 416

25.2.3　購買推薦系統(tǒng)云服務(wù) 416

25.3　When：在產(chǎn)品的什么階段搭建推薦系統(tǒng) 416

25.4　What、Where：搭建什么樣的推薦系統(tǒng) 417

25.5　How：怎樣搭建推薦系統(tǒng) 418

25.5.1　產(chǎn)品起步階段的推薦 418

25.5.2　產(chǎn)品成長階段的推薦 420

25.6　How much：關(guān)于構(gòu)建推薦系統(tǒng)的資源投入 420

25.6.1　人力投入 421

25.6.2　計算資源投入 421

25.7　How feel：對推薦系統(tǒng)價值的預(yù)期 422

25.8　從零搭建推薦系統(tǒng)必須做好的3件事 422

25.8.1　產(chǎn)品與算法 423

25.8.2　評估指標 423

25.8.3　AB測試 423

25.9　幾個具體實用的建議 424

25.10　本章小結(jié) 425

第26章　基于標簽的實時短視頻推薦系統(tǒng) 426

26.1　基于標簽的推薦算法應(yīng)用場景 426

26.1.1　完全個性化推薦 427

26.1.2　標的物關(guān)聯(lián)標的物推薦 427

26.1.3　主題推薦 428

26.2　基于標簽的推薦算法原理 428

26.2.1　個性化推薦 428

26.2.2　視頻相似推薦 430

26.2.3　主題推薦 430

26.3　推薦產(chǎn)品的整體架構(gòu)及工程實現(xiàn) 430

26.3.1　個性化推薦 432

26.3.2　相似視頻推薦 435

26.3.3　主題推薦 437

26.4　個性化推薦的召回與排序策略 438

26.4.1　召回策略 438

26.4.2　排序策略 439

26.4.3　電視貓個性化推薦實時更新策略 440

26.5　冷啟動策略 442

26.6　未來優(yōu)化方向 442

26.6.1　增加模型排序模塊 442

26.6.2　對重復(fù)的節(jié)目做過濾 442

26.6.3　整合用戶負反饋 443

26.6.4　針對標簽的優(yōu)化 443

26.7　本章小結(jié) 443

第27章　基于Erlang語言的視頻相似推薦 445

27.1　視頻相似推薦系統(tǒng)簡介 445

27.2　相似推薦算法原理及實現(xiàn)細節(jié) 447

27.2.1　年代 447

27.2.2　標題 448

27.2.3　地域 448

27.2.4　豆瓣評分 449

27.2.5　是否獲獎 449

27.3　實現(xiàn)視頻相似推薦系統(tǒng)的問題與難點 449

27.3.1　數(shù)據(jù)量大，增速快 449

27.3.2　需要實時計算 450

27.3.3　計算與某個視頻相似的視頻需要遍歷所有視頻 450

27.3.4　需要更新已經(jīng)計算視頻的相似度 450

27.4　為什么要用Erlang語言開發(fā) 450

27.4.1　Erlang語言簡介 450

27.4.2　Erlang語言的特性 451

27.4.3　選擇Erlang語言開發(fā)視頻相似推薦系統(tǒng)的原因 452

27.5　系統(tǒng)架構(gòu)與工程實現(xiàn) 453

27.5.1　Master節(jié)點模塊與功能 454

27.5.2　Slaver主要負責計算任務(wù) 456

27.5.3　Riak集群負責終相似推薦結(jié)果的存儲 457

27.5.4　響應(yīng)請求模塊會基于用戶請求給出推薦結(jié)果 457

27.6　相似推薦的核心亮點 458

27.7　未來的優(yōu)化方向 459

27.8　本章小結(jié) 460

附錄A　推薦算法工程師的成長之道 461

附錄B　推薦算法團隊組成及目標定位 471