第一篇 經(jīng)典機(jī)器學(xué)習(xí)模型 第1章 引言：從線性回歸說(shuō)起 2 1.1 什么是機(jī)器學(xué)習(xí) 3 1.1.1 傳統(tǒng)算法與機(jī)器學(xué)習(xí)算法 4 1.1.2 線性回歸 9 1.2 過(guò)擬合與正則化 10 1.2.1 樣本量與過(guò)擬合 10 1.2.2 正則化方法 12 1.3 嶺回歸和lasso回歸 14 1.3.1 嶺回歸 14 1.3.2 lasso回歸 17 1.3.3 l1正則化和l2正則化 17 1.4 本章小結(jié)與代碼實(shí)現(xiàn) 21 1.5 本章話題：機(jī)器學(xué)習(xí)的 一般原理 25 第2章 陰陽(yáng)剖分：支持向量機(jī)模型 30 2.1 支持向量機(jī)模型的基本思路 30 2.1.1 支持向量機(jī)模型的 基本思路 31 2.1.2 支持向量機(jī)算法的 基本流程 34 2.2 數(shù)學(xué)形式與求解方法 34 2.2.1 數(shù)學(xué)知識(shí)補(bǔ)充 35 2.2.2 數(shù)學(xué)模型與理論推導(dǎo) 36 2.3 核方法與維度問(wèn)題 38 2.3.1 核方法的含義 39 2.3.2 核函數(shù)SVM 39 2.4 軟間隔支持向量機(jī) 41 2.4.1 軟間隔的含義 41 2.4.2 軟間隔SVM的損失 函數(shù) 42 2.5 本章小結(jié)與代碼實(shí)現(xiàn) 44 2.6 本章話題：高維度，是災(zāi)難 還是契機(jī)？ 46 第3章 化直為曲：邏輯斯蒂回歸 50 3.1 邏輯斯蒂回歸的基本原理 50 3.1.1 分類(lèi)問(wèn)題與回歸問(wèn)題 51 3.1.2 邏輯斯蒂回歸算法思路 53 3.2 邏輯斯蒂函數(shù) 56 3.2.1 邏輯斯蒂函數(shù)的由來(lái) 56 3.2.2 邏輯斯蒂函數(shù)的優(yōu)勢(shì) 58 3.3 邏輯斯蒂回歸的數(shù)學(xué)原理 59 3.3.1 邏輯斯蒂回歸的數(shù)學(xué) 形式 59 3.3.2 準(zhǔn)確率和召回率 62 3.4 參數(shù)確定的方法 65 3.4.1 似然函數(shù)簡(jiǎn)介 65 3.4.2 邏輯斯蒂回歸的損失 函數(shù) 66 3.5 多項(xiàng)邏輯斯蒂回歸 67 3.5.1 多分類(lèi)問(wèn)題的邏輯斯蒂 回歸 67 3.5.2 softmax函數(shù) 68 3.6 本章小結(jié)與代碼實(shí)現(xiàn) 69 3.7 本章話題：廣義線性模型 72 第4章 層層拷問(wèn)：決策樹(shù)模型 77 4.1 模型思路與算法流程 78 4.1.1 決策樹(shù)的思路—— 以讀心術(shù)游戲?yàn)槔?78 4.1.2 決策樹(shù)模型的基本流程 81 4.1.3 決策樹(shù)模型的關(guān)鍵問(wèn)題 87 4.2 特征選擇原則 87 4.2.1 信息增益原則 87 4.2.2 信息增益比原則 89 4.2.3 基尼系數(shù)原則 89 4.3 剪枝策略 90 4.4 常用決策樹(shù)模型：ID3與 C4.5算法 92 4.4.1 ID3算法 92 4.4.2 C4.5算法 92 4.5 多變量決策樹(shù)簡(jiǎn)介 93 4.6 本章小結(jié)與代碼實(shí)現(xiàn) 94 4.7 本章話題：信息論與 特征選擇 97 第5章 近朱者赤：k近鄰模型 101 5.1 模型的思路和特點(diǎn) 101 5.1.1 模型思路 101 5.1.2 懶惰學(xué)習(xí)與迫切學(xué)習(xí) 103 5.2 模型的相關(guān)性質(zhì) 105 5.2.1 數(shù)學(xué)形式 105 5.2.2 損失函數(shù)與誤差 108 5.2.3 k近鄰模型的改進(jìn) 109 5.3 距離函數(shù)與參數(shù)選擇 111 5.3.1 距離函數(shù) 111 5.3.2 參數(shù)選擇的影響 114 5.4 本章小結(jié)與代碼實(shí)現(xiàn) 115 5.5 本章話題：相似性度量 119 第6章 執(zhí)果索因：樸素貝葉斯 模型 123 6.1 貝葉斯方法的基本概念 123 6.1.1 貝葉斯學(xué)派與頻率 學(xué)派 124 6.1.2 全概率公式與貝葉斯 公式 127 6.2 樸素貝葉斯的原理和方法 133 6.2.1 樸素貝葉斯的“樸素” 假設(shè) 133 6.2.2 拉普拉斯平滑 135 6.3 樸素貝葉斯算法的步驟與 流程 137 6.4 生成式模型與判別式模型 138 6.5 本章小結(jié)與代碼實(shí)現(xiàn) 138 6.6 本章話題：貝葉斯思維與 先驗(yàn)概念 141 第7章 提綱挈領(lǐng)：線性判別分析與 主成分分析 144 7.1 線性降維的基本思路 144 7.2 LDA 146 7.2.1 投影的技巧 146 7.2.2 類(lèi)內(nèi)距離和類(lèi)間距離 147 7.2.3 LDA的求解 149 7.3 PCA 151 7.3.1 基變換與特征降維 151 7.3.2 方差最大化與PCA原理 推導(dǎo) 154 7.3.3 PCA的實(shí)現(xiàn)步驟 158 7.4 LDA與PCA：區(qū)別與 聯(lián)系 158 7.5 本章小結(jié)與代碼實(shí)現(xiàn) 159 7.5.1 LDA實(shí)驗(yàn)：鳶尾花 數(shù)據(jù)集降維分類(lèi) 159 7.5.2 PCA實(shí)驗(yàn)：手寫(xiě)數(shù)字 數(shù)據(jù)集降維 161 7.6 本章話題：矩陣的直觀解釋 與應(yīng)用 162 第8章 曲面平鋪：流形學(xué)習(xí) 166 8.1 流形與流形學(xué)習(xí) 166 8.2 Isomap的基本思路與 實(shí)現(xiàn)方法 170 8.2.1 測(cè)地距離的概念 170 8.2.2 計(jì)算測(cè)地距離：圖論中的 Floyd算法 172 8.2.3 由距離到坐標(biāo)：多維尺度 變換方法 173 8.3 Isomap算法步驟 175 8.4 LLE的基本思路與 實(shí)現(xiàn)方法 175 8.4.1 LLE的基本思想 175 8.4.2 局部線性重構(gòu) 176 8.5 LLE算法步驟 177 8.6 本章小結(jié)與代碼實(shí)現(xiàn) 178 8.7 本章話題：黎曼、非歐幾何 與流形感知 180 第9章 物以類(lèi)聚：聚類(lèi)算法 185 9.1 無(wú)監(jiān)督方法概述 185 9.2 聚類(lèi)的基本目標(biāo)和評(píng)價(jià) 標(biāo)準(zhǔn) 187 9.2.1 聚類(lèi)的基本目標(biāo) 187 9.2.2 聚類(lèi)的評(píng)價(jià)標(biāo)準(zhǔn) 188 9.3 基于中心的k-means 算法 191 9.3.1 k-means算法的基本 思路 191 9.3.2 k-means算法步驟 193 9.3.3 k-means算法的局 限性 195 9.4 層次聚類(lèi)算法 196 9.4.1 層次聚類(lèi)的基本原理 196 9.4.2 層次聚類(lèi)的AGNES 算法 199 9.5 密度聚類(lèi)算法：DBSCAN 200 9.5.1 DBSCAN算法的基本 思路 200 9.5.2 DBSCAN算法步驟 201 9.6 本章小結(jié)與代碼實(shí)現(xiàn) 203 9.7 本章話題：Science上的一種 巧妙聚類(lèi)算法 205 第10章 字典重構(gòu)：稀疏編碼 209 10.1 稀疏編碼的思路 209 10.1.1 神經(jīng)生物學(xué)的發(fā)現(xiàn) 210 10.1.2 過(guò)完備性與稀疏性 210 10.2 稀疏編碼的數(shù)學(xué)形式 213 10.3 字典學(xué)習(xí)中的“字典” 215 10.3.1 傳統(tǒng)算法中的 “字典” 215 10.3.2 “字典”學(xué)習(xí)的意義 216 10.4 本章小結(jié)與代碼實(shí)現(xiàn) 217 10.5 本章話題：壓縮感知理論 簡(jiǎn)介 220 第11章 教學(xué)相長(zhǎng)：直推式支持 向量機(jī) 223 11.1 半監(jiān)督學(xué)習(xí)簡(jiǎn)介 223 11.2 T-SVM模型 227 11.2.1 T-SVM的基本思路 227 11.2.2 T-SVM算法步驟 228 11.3 本章小結(jié)與代碼實(shí)現(xiàn) 229 11.4 本章話題：不同樣本集場(chǎng)景 下的問(wèn)題處理策略 233 第12章 群策群力：集成學(xué)習(xí) 236 12.1 自舉匯聚和提升 236 12.1.1 Bagging算法和Boosting 算法的基本思路 237 12.1.2 Bagging算法和Boosting 算法的區(qū)別與聯(lián)系 240 12.2 Bagging算法的基本 步驟 241 12.3 Boosting算法的基本 步驟 242 12.4 Bagging算法：以隨機(jī) 森林算法為例 243 12.4.1 隨機(jī)森林算法 243 12.4.2 隨機(jī)森林算法中的 隨機(jī)性 244 12.5 Boosting算法：以Adaboost 算法為例 244 12.5.1 Adaboost算法的實(shí)現(xiàn) 步驟 245 12.5.2 Adaboost算法過(guò)程 分析 245 12.6 本章小結(jié)與代碼實(shí)現(xiàn) 246 12.7 本章話題：Adaboost算法 中的分步策略 249 第二篇 深度學(xué)習(xí)模型與方法 第13章 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)：從感知機(jī)模型到阿爾法狗 254 13.1 感知機(jī)模型 256 13.1.1 感知機(jī)模型的基本原理 與數(shù)學(xué)形式 256 13.1.2 感知機(jī)模型的缺陷與 改進(jìn) 260 13.2 人工神經(jīng)網(wǎng)絡(luò) 262 13.2.1 生物神經(jīng)元與感知機(jī) 模型 262 13.2.2 人工神經(jīng)網(wǎng)絡(luò)方法 簡(jiǎn)介 264 13.2.3 反向傳播算法 265 13.2.4 神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì) 267 13.3 需要深度學(xué)習(xí)的原因 268 13.4 神經(jīng)網(wǎng)絡(luò)模型的局限性 268 13.5 常用神經(jīng)網(wǎng)絡(luò)框架簡(jiǎn)介 270 13.6 本章話題：人工智能發(fā)展 大事年表 271