第1章 機(jī)器學(xué)習(xí)解決問題流程 1
1.1 機(jī)器學(xué)習(xí)基礎(chǔ) 1
1.1.1 機(jī)器學(xué)習(xí)定義 1
1.1.2 機(jī)器學(xué)習(xí)流派 3
1.1.3 機(jī)器學(xué)習(xí)簡史 7
1.2 機(jī)器學(xué)習(xí)解決實(shí)際問題的流程 8
1.3 機(jī)器學(xué)習(xí)平臺(tái)介紹 10
1.3.1 阿里PAI 10
1.3.2 第四范式先知（Sage EE） 11
1.3.3 騰訊智能鈦機(jī)器學(xué)習(xí)（TI-ML） 12
1.3.4 中科院EasyML 13
1.3.5 百度機(jī)器學(xué)習(xí)BML 14
1.3.6 華為AI開發(fā)平臺(tái)ModelArts 15
1.3.7 微軟Azure機(jī)器學(xué)習(xí)服務(wù) 15
1.3.8 谷歌Cloud AutoML平臺(tái) 16
1.3.9 亞馬遜SageMaker 17
1.4 本章小結(jié) 18
第2章 問題分析與建模 19
2.1 問題分析 19
2.1.1 明確和理解問題 19
2.1.2 拆解和定位問題 21
2.2 數(shù)據(jù)分析 23
2.2.1 描述統(tǒng)計(jì)分析 24
2.2.2 相關(guān)分析 24
2.2.3 回歸分析 25
2.2.4 分類分析 25
2.2.5 聚類分析 26
2.3 問題建模 27
2.4 心臟病UCI數(shù)據(jù)集案例 27
2.4.1 問題描述 28
2.4.2 問題分析 28
2.4.3 數(shù)據(jù)分析 29
2.4.4 問題建模 30
2.5 本章小結(jié) 31
第3章 數(shù)據(jù)探索與準(zhǔn)備 32
3.1 ETL技術(shù) 32
3.1.1 ETL工作方式 32
3.1.2 ETL實(shí)現(xiàn)模式 33
3.1.3 ETL發(fā)展歷程 34
3.1.4 主流ETL工具 37
3.2 數(shù)據(jù)清洗 40
3.2.1 數(shù)據(jù)缺失處理 40
3.2.2 異常值處理 41
3.3 采樣 42
3.3.1 拒絕采樣 42
3.3.2 重要性采樣 43
3.3.3 馬爾可夫鏈蒙特卡洛采樣 44
3.4 本章小結(jié) 46
第4章 特征工程 47
4.1 數(shù)據(jù)預(yù)處理 47
4.1.1 特征縮放 47
4.1.2 特征編碼 48
4.2 特征選擇 53
4.2.1 過濾式選擇Filter 53
4.2.2 包裹式選擇Wrapper 59
4.2.3 嵌入式選擇Embedded 61
4.3 降維 63
4.3.1 主成分分析PCA 63
4.3.2 線性判別分析 65
4.4 本章小結(jié) 66
第5章 模型訓(xùn)練與評(píng)價(jià) 67
5.1 模型選擇 67
5.1.1 基礎(chǔ)知識(shí) 67
5.1.2 模型選擇的要素 68
5.2 模型訓(xùn)練 68
5.2.1 留出法 69
5.2.2 交叉驗(yàn)證法 70
5.2.3 自助法 71
5.3 模型調(diào)優(yōu) 71
5.3.1 超參數(shù)調(diào)優(yōu) 71
5.3.2 神經(jīng)架構(gòu)搜索 73
5.3.3 元學(xué)習(xí) 76
5.4 模型評(píng)價(jià) 78
5.4.1 分類問題 78
5.4.2 回歸問題 81
5.4.3 聚類問題 82
5.5 本章小結(jié) 83
第6章 模型部署與應(yīng)用 84
6.1 機(jī)器學(xué)習(xí)模型格式 84
6.1.1 scikit-learn 84
6.1.2 TensorFlow 85
6.1.3 PyTorch 86
6.2 機(jī)器學(xué)習(xí)模型部署 87
6.2.1 模型在平臺(tái)內(nèi)應(yīng)用 87
6.2.2 將模型封裝成可執(zhí)行腳本 88
6.2.3 基于容器和微服務(wù)的模型部署方式 89
6.2.4 模型部署方式對(duì)比 92
6.3 模型對(duì)外訪問接口 93
6.3.1 REST架構(gòu) 93
6.3.2 RPC架構(gòu) 94
6.3.3 gRPC架構(gòu) 95
6.3.4 模型對(duì)外接口對(duì)比 96
6.4 模型更新 96
6.4.1 如何更新模型 97
6.4.2 如何進(jìn)行持續(xù)更新 97
6.5 本章小結(jié) 99
第7章 回歸模型 100
7.1 線性回歸 100
7.1.1 線性回歸原理 100
7.1.2 多項(xiàng)式回歸 101
7.1.3 線性回歸案例 101
7.2 正則線性模型 103
7.2.1 正則線性模型原理 103
7.2.2 L1、L2正則化對(duì)比 103
7.3 邏輯回歸 105
7.3.1 邏輯回歸原理 106
7.3.2 邏輯回歸案例 109
7.4 本章小結(jié) 109
第8章 支持向量機(jī) 110
8.1 緒論 110
8.2 支持向量機(jī)原理 111
8.2.1 函數(shù)間隔 111
8.2.2 對(duì)偶問題 112
8.2.3 軟間隔SVM 113
8.2.4 KKT條件 114
8.2.5 支持向量 115
8.2.6 核函數(shù) 115
8.2.7 SMO 117
8.2.8 合頁損失函數(shù) 117
8.3 SVR回歸方法 117
8.4 SVM預(yù)測示例 119
8.5 本章小結(jié) 120
第9章 決策樹 121
9.1 緒論 121
9.2 決策樹基本概念 121
9.2.1 特征選擇 122
9.2.2 信息增益 122
9.2.3 信息增益率 123
9.2.4 基尼系數(shù) 124
9.3 ID3算法 124
9.4 C4.5算法 125
9.4.1 決策樹生成 125
9.4.2 決策樹剪枝 126
9.5 CART算法 127
9.5.1 決策樹生成 128
9.5.2 決策樹剪枝 129
9.6 決策樹應(yīng)用 130
9.7 本章小結(jié) 130
第10章 集成學(xué)習(xí) 131
10.1 bagging與隨機(jī)森林 131
10.1.1 bagging 131
10.1.2 隨機(jī)森林 132
10.1.3 隨機(jī)森林的應(yīng)用 132
10.1.4 隨機(jī)森林的推廣 135
10.2 boosting 136
10.2.1 Adaboost 136
10.2.2 前向分步算法 142
10.2.3 三大框架 147
10.3 stacking與blending 154
10.4 本章小結(jié) 156
第11章 K近鄰算法 157
11.1 KNN算法 157
11.2 距離的表示 158
11.3 KD樹 159
11.4 KNN心臟病預(yù)測實(shí)例 160
11.5 本章小結(jié) 161
第12章 貝葉斯方法 162
12.1 貝葉斯方法概述 162
12.2 貝葉斯決策論 163
12.3 樸素貝葉斯分類器 165
12.4 貝葉斯網(wǎng)絡(luò) 165
12.4.1 貝葉斯網(wǎng)絡(luò)概念 166
12.4.2 貝葉斯網(wǎng)絡(luò)學(xué)習(xí) 167
12.4.3 貝葉斯網(wǎng)絡(luò)推理 168
12.4.4 貝葉斯網(wǎng)絡(luò)的應(yīng)用 169
12.5 貝葉斯優(yōu)化 169
12.5.1 貝葉斯優(yōu)化框架 170
12.5.2 概率代理模型 170
12.5.3 采集函數(shù) 172
12.5.4 貝葉斯優(yōu)化的應(yīng)用 173
12.6 貝葉斯優(yōu)化迭代過程示例 174
12.7 本章小結(jié) 177
第13章 聚類算法 178
13.1 聚類的評(píng)價(jià)指標(biāo) 178
13.2 距離計(jì)算 179
13.3 聚類算法 180
13.3.1 基于層次的算法 180
13.3.2 基于分割的算法 181
13.3.3 基于密度的算法 185
13.4 本章小結(jié) 187
第14章 關(guān)聯(lián)規(guī)則學(xué)習(xí) 188
14.1 關(guān)聯(lián)規(guī)則學(xué)習(xí)概述 188
14.2 頻繁項(xiàng)集 188
14.3 Apriori算法 189
14.4 FP-growth算法 193
14.5 本章小結(jié) 196
第15章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 197
15.1 神經(jīng)網(wǎng)絡(luò)概述 197
15.2 神經(jīng)網(wǎng)絡(luò)原理 198
15.2.1 神經(jīng)元 198
15.2.2 損失函數(shù) 199
15.2.3 激活函數(shù) 201
15.2.4 正向傳播 202
15.2.5 反向傳播 203
15.3 前饋神經(jīng)網(wǎng)絡(luò) 204
15.3.1 前饋神經(jīng)網(wǎng)絡(luò)概述 204
15.3.2 MNIST數(shù)據(jù)集多分類應(yīng)用 205
15.4 本章小結(jié) 206
第16章 正則化 207
16.1 正則化概述 207
16.2 數(shù)據(jù)集增強(qiáng) 207
16.3 提前終止 208
16.4 Dropout 208
16.5 Batch Normalization 211
16.6 本章小結(jié) 213
第17章 深度學(xué)習(xí)中的優(yōu)化 214
17.1 優(yōu)化技術(shù)概述 214
17.2 優(yōu)化原理 215
17.2.1 標(biāo)準(zhǔn)化 215
17.2.2 梯度下降 219
17.2.3 參數(shù)初始化 221
17.3 自適應(yīng)優(yōu)化方法 223
17.4 參數(shù)初始化方法 224
17.5 本章小結(jié) 225
第18章 卷積神經(jīng)網(wǎng)絡(luò) 226
18.1 卷積神經(jīng)網(wǎng)絡(luò)概述 226
18.2 卷積神經(jīng)網(wǎng)絡(luò)原理 226
18.2.1 局部連接 227
18.2.2 權(quán)值共享 228
18.2.3 池化層 229
18.3 卷積神經(jīng)網(wǎng)絡(luò)的新方法 230
18.3.1 1D/2D/3D卷積 230
18.3.2 11卷積 231
18.3.3 空洞卷積 231
18.3.4 全卷積神經(jīng)網(wǎng)絡(luò) 231
18.4 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 232
18.4.1 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展 232
18.4.2 MNIST數(shù)據(jù)集分類示例 234
18.5 本章小結(jié) 234
第19章 循環(huán)神經(jīng)網(wǎng)絡(luò) 235
19.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述 235
19.2 循環(huán)神經(jīng)網(wǎng)絡(luò)原理 236
19.2.1 展開計(jì)算圖 236
19.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 237
19.2.3 長期依賴 239
19.2.4 LSTM 240
19.2.5 GRU 241
19.2.6 雙向RNN 242
19.2.7 深度循環(huán)網(wǎng)絡(luò) 243
19.2.8 基于編碼?解碼的序列到序列架構(gòu) 244
19.3 各種RNN的優(yōu)缺點(diǎn)及應(yīng)用場景 245
19.4 時(shí)間序列預(yù)測問題示例 246
19.5 本章小結(jié) 248
第20章 自編碼器 249
20.1 緒論 249
20.2 自編碼器原理 250
20.2.1 經(jīng)典自編碼器 250
20.2.2 去噪自編碼器 251
20.2.3 稀疏自編碼器 252
20.2.4 變分自編碼器 253
20.2.5 堆疊自編碼器 254
20.2.6 與神經(jīng)網(wǎng)絡(luò)融合的編碼器 256
20.3 自編碼器優(yōu)缺點(diǎn)及應(yīng)用場景 257
20.4 自編碼器應(yīng)用 258
20.5 本章小結(jié) 259
第21章 基于深度學(xué)習(xí)的語音分離方法 260
21.1 問題背景 260
21.2 問題定義 261
21.3 相關(guān)工作 262
21.4 VoiceFilter的實(shí)現(xiàn)方法 263
21.4.1 說話人編碼器 264
21.4.2 聲譜掩碼網(wǎng)絡(luò) 269
21.4.3 實(shí)驗(yàn)效果 273
21.5 本章小結(jié) 274
第22章 基于深度學(xué)習(xí)的圖像去水印方法 276
22.1 圖像去水印的研究背景 276
22.2 圖像修復(fù)問題的定義 277
22.3 圖像修復(fù)的相關(guān)工作 278
22.3.1 傳統(tǒng)修復(fù)方法 279
22.3.2 基于深度學(xué)習(xí)的修復(fù)方法 279
22.3.3 修復(fù)效果評(píng)價(jià)指標(biāo) 280
22.3.4 常用數(shù)據(jù)集 281
22.4 方法實(shí)現(xiàn) 282
22.4.1 基于內(nèi)容編碼器的生成網(wǎng)絡(luò)模型 282
22.4.2 損失函數(shù)設(shè)計(jì) 286
22.4.3 算法步驟 288
22.4.4 實(shí)驗(yàn)結(jié)果展示 289
22.5 本章小結(jié) 290
第23章 基于LSTM的云環(huán)境工作負(fù)載預(yù)測方法 291
23.1 工作負(fù)載預(yù)測的研究背景 291
23.2 工作負(fù)載預(yù)測問題的定義 292
23.3 工作負(fù)載預(yù)測的相關(guān)工作 293
23.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 293
23.3.2 門控循環(huán)單元 294
23.4 基于LSTM的工作負(fù)載預(yù)測 295
23.4.1 負(fù)載數(shù)據(jù)預(yù)處理 295
23.4.2 LSTM預(yù)測模型 296
23.4.3 實(shí)驗(yàn)結(jié)果與分析 297
23.5 本章小結(jié) 300
第24章 基于QoS的服務(wù)組合問題 301
24.1 服務(wù)組合問題的研究背景 301
24.2 半自動(dòng)服務(wù)組合問題的定義 302
24.3 服務(wù)組合問題的相關(guān)工作 305
24.3.1 求解解的方法 305
24.3.2 基于元啟發(fā)式算法的方法 305
24.3.3 基于強(qiáng)化學(xué)習(xí)的方法 306
24.4 Q-learning算法 306
24.5 Q-learning算法的實(shí)現(xiàn) 308
24.5.1 狀態(tài)集設(shè)計(jì) 308
24.5.2 動(dòng)作集設(shè)計(jì) 309
24.5.3 回報(bào)函數(shù)設(shè)計(jì) 310
24.5.4 Q-learning算法步驟 310
24.5.5 實(shí)驗(yàn)結(jié)果展示 313
24.6 本章小結(jié) 315
第25章 基于強(qiáng)化學(xué)習(xí)的投資組合方法 316
25.1 投資組合問題的研究背景 316
25.2 投資組合指數(shù)增強(qiáng)問題的定義 319
25.2.1 符號(hào)定義 319
25.2.2 基本假設(shè) 319
25.2.3 問題描述 319
25.2.4 個(gè)股收益率和指數(shù)收益率 320
25.2.5 目標(biāo)函數(shù) 320
25.2.6 約束條件 321
25.2.7 問題的完整定義 321
25.3 投資組合問題的研究方法 322
25.3.1 基于統(tǒng)計(jì)模型的方法 322
25.3.2 啟發(fā)式算法 322
25.3.3 基于學(xué)習(xí)的算法 322
25.4 深度確定性策略梯度算法 323
25.5 投資組合問題的實(shí)現(xiàn)方法 326
25.5.1 數(shù)據(jù)探索與準(zhǔn)備 326
25.5.2 模型訓(xùn)練與評(píng)價(jià) 328
25.5.3 實(shí)驗(yàn)結(jié)果及分析 333
25.6 本章小結(jié) 334
第26章 基于GAN模型的大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化方法 335
26.1 大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化的研究背景 335
26.2 大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化問題的定義 336
26.3 大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化的方法 337
26.3.1 基于模型的大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化方法 337
26.3.2 基于評(píng)估的大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化方法 338
26.3.3 基于搜索的大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化方法 338
26.3.4 基于學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化方法 343
26.3.5 大數(shù)據(jù)系統(tǒng)參數(shù)優(yōu)化問題的流程 346
26.4 ACTGAN方法 347
26.4.1 動(dòng)機(jī) 347
26.4.2 原理 348
26.4.3 具體過程 349
26.4.4 實(shí)驗(yàn)結(jié)果 352
26.5 本章小結(jié) 354
26.5.1 總結(jié) 354
26.5.2 展望 354
附錄1 名詞及解釋 355
附錄2 數(shù)據(jù)集 377
參考文獻(xiàn) 381