緒論 1

1　回歸模型 6
1.1　回歸算法分類 9
1.1.1　一般線性回歸 9
1.1.2　廣義線性回歸 10
1.1.3　非線性回歸 14
1.2　回歸模型的度量指標(biāo) 14
1.3　樣本權(quán)重系數(shù)的理解 17

2　線性回歸模型 18
2.1　普通最小二乘法 19
2.2　嶺回歸（L2正則化回歸） 24
2.2.1　嶺回歸評(píng)估器 24
2.2.2　嶺跡曲線 29
2.2.3　交叉驗(yàn)證嶺回歸評(píng)估器 31
2.3　Lasso回歸（L1正則化回歸） 36
2.3.1　Lasso回歸評(píng)估器 37
2.3.2　Lasso路徑 42
2.3.3　交叉驗(yàn)證Lasso回歸評(píng)估器 44
2.3.4　多任務(wù)Lasso回歸 50
2.3.5　最小角Lasso回歸 61
2.4　彈性網(wǎng)絡(luò)回歸 71
2.4.1　彈性網(wǎng)絡(luò)回歸評(píng)估器 71
2.4.2　交叉驗(yàn)證彈性網(wǎng)絡(luò)回歸評(píng)估器 76
2.4.3　多任務(wù)彈性網(wǎng)絡(luò)回歸評(píng)估器 81
2.4.4　交叉驗(yàn)證多任務(wù)彈性網(wǎng)絡(luò)回歸評(píng)估器 84
2.5　正交匹配追蹤回歸 86
2.6　貝葉斯線性回歸 92
2.7　廣義線性回歸 96
2.8　隨機(jī)梯度下降回歸 100
2.9　被動(dòng)攻擊回歸 108
2.10 魯棒回歸 114
2.10.1　隨機(jī)抽樣一致性回歸 114
2.10.2　泰爾-森回歸 119
2.10.3　胡貝爾回歸 123
2.11 多項(xiàng)式回歸 127

3　非線性回歸模型 132
3.1　支持向量機(jī)回歸 133
3.2　核嶺回歸 145
3.3　最近鄰回歸 147
3.3.1　算法簡(jiǎn)介 149
3.3.2　距離度量指標(biāo) 151
3.3.3　最近鄰回歸評(píng)估器 154
3.4　高斯過程回歸 159
3.5　決策樹 167
3.5.1　決策樹模型算法簡(jiǎn)介 168
3.5.2　決策樹回歸評(píng)估器 185
3.6　神經(jīng)網(wǎng)絡(luò)模型 191
3.7　保序回歸 199

4　分類模型 203
4.1　廣義線性回歸分類與非線性分類模型 204
4.2　分類模型的度量指標(biāo) 209

5　線性分類模型 210
5.1　嶺分類 211
5.2　邏輯回歸分類 214
5.3　隨機(jī)梯度下降分類 219
5.4　感知機(jī) 222
5.5　被動(dòng)攻擊分類 226

6　非線性分類模型 231
6.1　支持向量機(jī)分類 232
6.1.1　支持向量分類評(píng)估器SVC 232
6.1.2　支持向量分類評(píng)估器NuSVC 234
6.1.3　支持向量分類評(píng)估器LinearSVC 234
6.2　最近鄰分類 237
6.2.1　K最近鄰分類評(píng)估器KNeighborsClassifier 237
6.2.2　徑向基最近鄰分類評(píng)估器 240
6.3　高斯過程分類 241
6.4　樸素貝葉斯模型 244
6.4.1　樸素貝葉斯算法 246
6.4.2　樸素貝葉斯分類 250
6.5　決策樹分類 255
6.6　神經(jīng)網(wǎng)絡(luò)分類 259

7　無(wú)監(jiān)督學(xué)習(xí)及模型 263
7.1　聚類 264
7.1.1　聚類算法簡(jiǎn)介 267
7.1.2　聚類模型 270
7.2　雙聚類 282
7.2.1　譜聯(lián)合聚類 283
7.2.2　譜雙聚類 286

8　半監(jiān)督學(xué)習(xí)及模型 287
8.1　標(biāo)簽傳播算法 289
8.2　標(biāo)簽蔓延算法 291
8.3　自訓(xùn)練分類器 292