前言 ix

第 1 章　引言 1

1.1　為何選擇機(jī)器學(xué)習(xí) 1

1.1.1　機(jī)器學(xué)習(xí)能夠解決的問(wèn)題 2

1.1.2　熟悉任務(wù)和數(shù)據(jù) 4

1.2　為何選擇Python 4

1.3　scikit-learn 4

1.4　必要的庫(kù)和工具 5

1.4.1　Jupyter Notebook 6

1.4.2　NumPy 6

1.4.3　SciPy 6

1.4.4　matplotlib 7

1.4.5　pandas 8

1.4.6　mglearn 9

1.5　Python 2 與Python 3 的對(duì)比 9

1.6　本書(shū)用到的版本 10

1.7　第 一個(gè)應(yīng)用：鳶尾花分類 11

1.7.1　初識(shí)數(shù)據(jù) 12

1.7.2　衡量模型是否成功：訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù) 14

1.7.3　要事第 一：觀察數(shù)據(jù) 15

1.7.4　構(gòu)建第 一個(gè)模型：k 近鄰算法 16

1.7.5　做出預(yù)測(cè) 17

1.7.6　評(píng)估模型 18

1.8　小結(jié)與展望 19

第 2 章　監(jiān)督學(xué)習(xí) 21

2.1　分類與回歸 21

2.2　泛化、過(guò)擬合與欠擬合 22

2.3　監(jiān)督學(xué)習(xí)算法 24

2.3.1　一些樣本數(shù)據(jù)集 25

2.3.2　k 近鄰 28

2.3.3　線性模型 35

2.3.4　樸素貝葉斯分類器 53

2.3.5　決策樹(shù) 54

2.3.6　決策樹(shù)集成 64

2.3.7　核支持向量機(jī) 71

2.3.8　神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)） 80

2.4　分類器的不確定度估計(jì) 91

2.4.1　決策函數(shù) 91

2.4.2　預(yù)測(cè)概率 94

2.4.3　多分類問(wèn)題的不確定度 96

2.5　小結(jié)與展望 98

第3 章　無(wú)監(jiān)督學(xué)習(xí)與預(yù)處理 100

3.1　無(wú)監(jiān)督學(xué)習(xí)的類型 100

3.2　無(wú)監(jiān)督學(xué)習(xí)的挑戰(zhàn) 101

3.3　預(yù)處理與縮放 101

3.3.1　不同類型的預(yù)處理 102

3.3.2　應(yīng)用數(shù)據(jù)變換 102

3.3.3　對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行相同的縮放 104

3.3.4　預(yù)處理對(duì)監(jiān)督學(xué)習(xí)的作用 106

3.4　降維、特征提取與流形學(xué)習(xí) 107

3.4.1　主成分分析 107

3.4.2　非負(fù)矩陣分解 120

3.4.3　用t-SNE 進(jìn)行流形學(xué)習(xí) 126

3.5　聚類 130

3.5.1　k 均值聚類 130

3.5.2　凝聚聚類 140

3.5.3　DBSCAN 143

3.5.4　聚類算法的對(duì)比與評(píng)估 147

3.5.5　聚類方法小結(jié) 159

3.6　小結(jié)與展望 159

第4 章　數(shù)據(jù)表示與特征工程 161

4.1　分類變量 161

4.1.1　One-Hot 編碼（虛擬變量） 162

4.1.2　數(shù)字可以編碼分類變量 166

4.2　分箱、離散化、線性模型與樹(shù) 168

4.3　交互特征與多項(xiàng)式特征 171

4.4　單變量非線性變換 178

4.5　自動(dòng)化特征選擇 181

4.5.1　單變量統(tǒng)計(jì) 181

4.5.2　基于模型的特征選擇 183

4.5.3　迭代特征選擇 184

4.6　利用專家知識(shí) 185

4.7　小結(jié)與展望 192

第5 章　模型評(píng)估與改進(jìn) 193

5.1　交叉驗(yàn)證 194

5.1.1　scikit-learn 中的交叉驗(yàn)證 194

5.1.2　交叉驗(yàn)證的優(yōu)點(diǎn) 195

5.1.3　分層k 折交叉驗(yàn)證和其他策略 196

5.2　網(wǎng)格搜索 200

5.2.1　簡(jiǎn)單網(wǎng)格搜索 201

5.2.2　參數(shù)過(guò)擬合的風(fēng)險(xiǎn)與驗(yàn)證集 202

5.2.3　帶交叉驗(yàn)證的網(wǎng)格搜索 203

5.3　評(píng)估指標(biāo)與評(píng)分 213

5.3.1　牢記目標(biāo) 213

5.3.2　二分類指標(biāo) 214

5.3.3　多分類指標(biāo) 230

5.3.4　回歸指標(biāo) 232

5.3.5　在模型選擇中使用評(píng)估指標(biāo) 232

5.4　小結(jié)與展望 234

第6 章　算法鏈與管道 236

6.1　用預(yù)處理進(jìn)行參數(shù)選擇 237

6.2　構(gòu)建管道 238

6.3　在網(wǎng)格搜索中使用管道 239

6.4　通用的管道接口 242

6.4.1　用make_pipeline 方便地創(chuàng)建管道 243

6.4.2　訪問(wèn)步驟屬性 244

6.4.3　訪問(wèn)網(wǎng)格搜索管道中的屬性 244

6.5　網(wǎng)格搜索預(yù)處理步驟與模型參數(shù) 246

6.6　網(wǎng)格搜索選擇使用哪個(gè)模型 248

6.7　小結(jié)與展望 249

第7 章　處理文本數(shù)據(jù) 250

7.1　用字符串表示的數(shù)據(jù)類型 250

7.2　示例應(yīng)用：電影評(píng)論的情感分析 252

7.3　將文本數(shù)據(jù)表示為詞袋 254

7.3.1　將詞袋應(yīng)用于玩具數(shù)據(jù)集 255

7.3.2　將詞袋應(yīng)用于電影評(píng)論 256

7.4　停用詞 259

7.5　用tf-idf 縮放數(shù)據(jù) 260

7.6　研究模型系數(shù) 263

7.7　多個(gè)單詞的詞袋（n 元分詞） 263

7.8　分詞、詞干提取與詞形還原 267

7.9　主題建模與文檔聚類 270

7.10　小結(jié)與展望 277

第8 章　全書(shū)總結(jié) 278

8.1　處理機(jī)器學(xué)習(xí)問(wèn)題 278

8.2　從原型到生產(chǎn) 279

8.3　測(cè)試生產(chǎn)系統(tǒng) 280

8.4　構(gòu)建你自己的估計(jì)器 280

8.5　下一步怎么走 281

8.5.1　理論 281

8.5.2　其他機(jī)器學(xué)習(xí)框架和包 281

8.5.3　排序、推薦系統(tǒng)與其他學(xué)習(xí)類型 282

8.5.4　概率建模、推斷與概率編程 282

8.5.5　神經(jīng)網(wǎng)絡(luò) 283

8.5.6　推廣到更大的數(shù)據(jù)集 283

8.5.7　磨練你的技術(shù) 284

8.6　總結(jié) 284

關(guān)于作者 285

關(guān)于封面 285