目錄
緒論1
0.1本書(shū)講什么，初衷是什么 1
0.2貫穿本書(shū)的兩大思維模式 3
0.2.1提問(wèn)的思維方式 3
0.2.2發(fā)散的思維方式 4
0.3這本書(shū)決定它還想要這樣 5
0.3.1第一性原理 . 5
0.3.2奧卡姆剃刀原理 7
0.4如何使用本書(shū) 8
第 1章步入監(jiān)督學(xué)習(xí)之旅 .11
1.1機(jī)器學(xué)習(xí)從數(shù)據(jù)開(kāi)始 11
1.2監(jiān)督學(xué)習(xí)是什么 . 14
1.2.1基本術(shù)語(yǔ) 16
1.2.2學(xué)習(xí)過(guò)程如同一場(chǎng)科學(xué)推理 17
1.3如何評(píng)價(jià)模型的好壞 21
1.3.1評(píng)價(jià)模型的量化指標(biāo) 21
1.3.2擬合能力 24
1.3.3泛化能力 24
1.4損失最小化思想 . 25
1.5怎樣理解模型的性能：方差-偏差折中思想 . 27
1.6如何選擇最優(yōu)模型 28
1.6.1正則化：對(duì)模型復(fù)雜程度加以懲罰 28
1.6.2交叉驗(yàn)證：樣本的多次重復(fù)利用 . 30
1.7本章小結(jié) . 31
1.8習(xí)題 31
第 2章線性回歸模型 33
2.1探尋線性回歸模型 33
2.1.1諾貝爾獎(jiǎng)中的線性回歸模型 33
2.1.2回歸模型的誕生 34
2.1.3線性回歸模型結(jié)構(gòu) . 38
2.2最小二乘法 39
2.2.1回歸模型用哪種損失：平方損失 . 40
機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)思維 (Python實(shí)現(xiàn))
2.2.2如何估計(jì)模型參數(shù)：最小二乘法 . 41
2.3線性回歸模型的預(yù)測(cè) 44
2.3.1一元線性回歸模型的預(yù)測(cè) . 44
2.3.2多元線性回歸模型的預(yù)測(cè) . 48
2.4拓展部分：嶺回歸與套索回歸 . 49
2.4.1嶺回歸 50
2.4.2套索回歸 51
2.5案例分析共享單車數(shù)據(jù)集 . 53
2.6本章小結(jié) . 56
2.7習(xí)題 57
第 3章 K近鄰模型 59
3.1鄰友思想 . 59
3.2 K近鄰算法. 60
3.2.1聚合思想 60
3.2.2 K近鄰模型的具體算法 61
3.2.3 K近鄰算法的三要素 . 63
3.2.4 K近鄰算法的可視化 . 67
3.3最近鄰分類器的誤差率 . 67
3.4 k維樹(shù). 70
3.4.1 k維樹(shù)的構(gòu)建 70
3.4.2 k維樹(shù)的搜索 73
3.5拓展部分：距離度量學(xué)習(xí)的 K近鄰分類器 76
3.6案例分析鶯尾花數(shù)據(jù)集 79
3.7本章小結(jié) . 83
3.8習(xí)題 83
第 4章貝葉斯推斷 .85
4.1貝葉斯思想 85
4.1.1什么是概率 . 86
4.1.2從概率到條件概率 . 91
4.1.3貝葉斯定理 . 93
4.2貝葉斯分類器 97
4.2.1貝葉斯分類 . 97
4.2.2樸素貝葉斯分類 98
4.3如何訓(xùn)練貝葉斯分類器 103
4.3.1極大似然估計(jì)：概率最大化思想 104
4.3.2貝葉斯估計(jì)：貝葉斯思想 111
4.4常用的樸素貝葉斯分類器.115
4.4.1離散屬性變量下的樸素貝葉斯分類器 .115
4.4.2連續(xù)特征變量下的樸素貝葉斯分類器 .115
4.5拓展部分 116
4.5.1半樸素貝葉斯.116
目錄
4.5.2貝葉斯網(wǎng)絡(luò) 119
4.6案例分析蘑菇數(shù)據(jù)集 .122
4.7本章小結(jié) 124
4.8習(xí)題.124
4.9閱讀時(shí)間：貝葉斯思想的起源 125
第 5章邏輯回歸模型 131
5.1一切始于邏輯函數(shù).131
5.1.1邏輯函數(shù) .131
5.1.2邏輯斯諦分布.133
5.1.3邏輯回歸 .134
5.2邏輯回歸模型的學(xué)習(xí) .136
5.2.1加權(quán)最小二乘法 .136
5.2.2極大似然法 139
5.3邏輯回歸模型的學(xué)習(xí)算法.141
5.3.1梯度下降法 141
5.3.2牛頓法.143
5.4拓展部分 144
5.4.1拓展 1：多分類邏輯回歸模型 144
5.4.2拓展 2：非線性邏輯回歸模型 147
5.5案例分析離職數(shù)據(jù)集 .147
5.6本章小結(jié) 149
5.7習(xí)題.150
5.8閱讀時(shí)間：牛頓法是牛頓提出的嗎 .150
第 6章最大熵模型 . 153
6.1問(wèn)世間熵為何物 153
6.1.1熱力學(xué)熵 .153
6.1.2信息熵.155
6.2最大熵思想.156
6.2.1離散隨機(jī)變量的分布.156
6.2.2連續(xù)隨機(jī)變量的分布.160
6.3最大熵模型的學(xué)習(xí)問(wèn)題 163
6.3.1最大熵模型的定義 163
6.3.2最大熵模型的原始問(wèn)題與對(duì)偶問(wèn)題.167
6.3.3最大熵模型的學(xué)習(xí) 169
6.4模型學(xué)習(xí)的最優(yōu)化算法 173
6.4.1最速梯度下降法 .177
6.4.2擬牛頓法：DFP算法和 BFGS算法 178
6.4.3改進(jìn)的迭代尺度法 179
6.5案例分析湯圓小例子 .183
6.6本章小結(jié) 185
6.7習(xí)題.186
機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)思維 (Python實(shí)現(xiàn))
6.8閱讀時(shí)間：奇妙的對(duì)數(shù) 187
第 7章決策樹(shù)模型 . 191
7.1決策樹(shù)中蘊(yùn)含的基本思想.191
7.1.1什么是決策樹(shù).191
7.1.2決策樹(shù)的基本思想 195
7.2決策樹(shù)的特征選擇.195
7.2.1錯(cuò)分類誤差 195
7.2.2基于熵的信息增益和信息增益比 196
7.2.3基尼不純度 199
7.2.4比較錯(cuò)分類誤差、信息熵和基尼不純度 201
7.3決策樹(shù)的生成算法.201
7.3.1 ID3算法202
7.3.2 C4.5算法 205
7.3.3 CART算法205
7.4決策樹(shù)的剪枝過(guò)程.211
7.4.1預(yù)剪枝.211
7.4.2后剪枝.213
7.5拓展部分：隨機(jī)森林 .223
7.6案例分析帕爾默企鵝數(shù)據(jù)集 .223
7.7本章小結(jié) 226
7.8習(xí)題.226
7.9閱讀時(shí)間：經(jīng)濟(jì)學(xué)中的基尼指數(shù).227
第 8章感知機(jī)模型 . 231
8.1感知機(jī)制從邏輯回歸到感知機(jī) .231
8.2感知機(jī)的學(xué)習(xí) .233
8.3感知機(jī)的優(yōu)化算法.234
8.3.1原始形式算法.235
8.3.2對(duì)偶形式算法.239
8.4案例分析鶯尾花數(shù)據(jù)集 .241
8.5本章小結(jié) 243
8.6習(xí)題.243
第 9章支持向量機(jī) . 245
9.1從感知機(jī)到支持向量機(jī) 245
9.2線性可分支持向量機(jī) .248
9.2.1線性可分支持向量機(jī)與最大間隔算法 .248
9.2.2對(duì)偶問(wèn)題與硬間隔算法 .254
9.3線性支持向量機(jī) 258
9.3.1線性支持向量機(jī)的學(xué)習(xí)問(wèn)題.259
9.3.2對(duì)偶問(wèn)題與軟間隔算法 .260
9.3.3線性支持向量機(jī)之合頁(yè)損失.263
9.4非線性支持向量機(jī).265
目錄
9.4.1核變換的根本核函數(shù) 266
9.4.2非線性可分支持向量機(jī) .277
9.4.3非線性支持向量機(jī) 278
9.5 SMO優(yōu)化方法 .279
9.5.1失敗的坐標(biāo)下降法 .279
9.5.2成功的SMO算法.280
9.6案例分析電離層數(shù)據(jù)集 .287
9.7本章小結(jié) 288
9.8習(xí)題.289
第 10章 EM算法 291
10.1極大似然法與 EM算法 .291
10.1.1具有缺失數(shù)據(jù)的豆花小例子291
10.1.2具有隱變量的硬幣盲盒例子295
10.2 EM算法的迭代過(guò)程298
10.2.1 EM算法中的兩部曲 298
10.2.2 EM算法的合理性 .302
10.3 EM算法的應(yīng)用 305
10.3.1高斯混合模型305
10.3.2隱馬爾可夫模型 309
10.4本章小結(jié) 316
10.5習(xí)題 .317
第 11章提升方法. 319
11.1提升方法（Boosting）是一種集成學(xué)習(xí)方法.319
11.1.1什么是集成學(xué)習(xí) 319
11.1.2強(qiáng)可學(xué)習(xí)與弱可學(xué)習(xí)321
11.2起步于 AdaBoost算法 323
11.2.1兩大內(nèi)核：前向回歸和可加模型 .323
11.2.2 AdaBoost的前向分步算法.324
11.2.3 AdaBoost分類算法 .326
11.2.4 AdaBoost分類算法的訓(xùn)練誤差 333
11.3提升樹(shù)和 GBDT算法 .339
11.3.1回歸提升樹(shù) .339
11.3.2 GDBT算法 342
11.4拓展部分：XGBoost算法344
11.5案例分析波士頓房?jī)r(jià)數(shù)據(jù)集 .346
11.6本章小結(jié) 347
11.7習(xí)題 .348
參考文獻(xiàn) . 349
書(shū)單推薦
