第Ⅰ篇 機(jī)器學(xué)習(xí)入門篇 第　1 章 機(jī)器學(xué)習(xí)入門之機(jī)器學(xué)習(xí)基礎(chǔ) 1.1　做第 一個(gè)吃螃蟹的人-理解機(jī)器學(xué)習(xí)　003 1.2　機(jī)器學(xué)習(xí)研究的主要任務(wù)　005 1.2.1　監(jiān)督學(xué)習(xí)　005 1.2.2　非監(jiān)督學(xué)習(xí)　006 1.3　如何選擇合適的算法　007 1.4　機(jī)器學(xué)習(xí)研究問題的一般步驟　007 1.5　小結(jié)　008 第Ⅱ篇　工具模塊使用篇 第　2 章 機(jī)器學(xué)習(xí)模塊之?dāng)?shù)組計(jì)算NumPy 2.1　從“人機(jī)大戰(zhàn)”談NumPy模塊的妙用　011 2.2　NumPy模塊的數(shù)組對(duì)象　015 2.2.1　創(chuàng)建數(shù)組對(duì)象　015 2.2.2　數(shù)組對(duì)象類型的說明　019 2.2.3　隨機(jī)數(shù)生成數(shù)組　020 2.3　NumPy模塊中數(shù)組的廣播　022 2.3.1　數(shù)組廣播的原則　023 2.3.2　數(shù)組廣播的妙用　025 2.4　NumPy模塊中數(shù)組的操作　026 2.4.1　基本的索引　027 2.4.2　切片的索引　029 2.4.3　布爾型索引　030 2.4.4　數(shù)組的轉(zhuǎn)置和軸變換　032 2.4.5　元素的重復(fù)操作：repeat()和tile()　036 2.5　通用方法：快速的元素級(jí)數(shù)組方法　037 2.6　利用數(shù)組進(jìn)行運(yùn)算　039 2.6.1　用數(shù)學(xué)方法進(jìn)行統(tǒng)計(jì)　039 2.6.2　數(shù)組中布爾值的統(tǒng)計(jì)　042 2.6.3　將條件邏輯表述為數(shù)組運(yùn)算　043 2.6.4　數(shù)組的合并和拆分　045 2.6.5　數(shù)組的排序　046 2.6.6　數(shù)組的集合運(yùn)算　047 2.7　數(shù)組文件的輸入和輸出　048 2.7.1　將數(shù)組以二進(jìn)制的形式讀取文件　048 2.7.2　存取文本文件　050 2.8　小結(jié)　050 第　3 章 機(jī)器學(xué)習(xí)模塊之?dāng)?shù)據(jù)分析Pandas 3.1　Pandas數(shù)據(jù)結(jié)構(gòu)的介紹　052 3.1.1　Series數(shù)據(jù)結(jié)構(gòu)　052 3.1.2　Series數(shù)據(jù)類型的運(yùn)算　054 3.1.3　DataFrame數(shù)據(jù)結(jié)構(gòu)　055 3.1.4　DataFrame數(shù)據(jù)的修改　059 3.1.5　DataFrame中的索引對(duì)象　062 3.1.6　層次化索引　063 3.2　Pandas數(shù)據(jù)結(jié)構(gòu)中的基本數(shù)據(jù)操作　066 3.2.1　重新索引　066 3.2.2　刪除指定軸上的項(xiàng)　070 3.2.3　算術(shù)運(yùn)算和數(shù)據(jù)對(duì)齊　071 3.3　數(shù)據(jù)處理　073 3.3.1　判斷缺失數(shù)據(jù)　073 3.3.2　刪除缺失數(shù)據(jù)　075 3.3.3　填充缺失數(shù)據(jù)　077 3.3.4　移除重復(fù)數(shù)據(jù)　079 3.3.5　替換數(shù)據(jù)　081 3.3.6　排列和隨機(jī)采樣　082 3.4　方法的應(yīng)用與映射　083 3.4.1　排序和排名　084 3.4.2　帶有重復(fù)值的軸索引　087 3.4.3　匯總和計(jì)算描述統(tǒng)計(jì)　088 3.4.4　相關(guān)系數(shù)和協(xié)方差　092 3.5　數(shù)據(jù)的讀取和存儲(chǔ)　093 3.5.1　讀取文本文件格式的數(shù)據(jù)　093 3.5.2　將數(shù)據(jù)寫出到文本格式　095 3.6　字符串操作　095 3.7　合并數(shù)據(jù)集　097 3.7.1　數(shù)據(jù)庫風(fēng)格的DataFrame合并　097 3.7.2　索引上的合并　100 3.7.3　軸向的連接　101 3.7.4　分組合并統(tǒng)計(jì)　103 3.7.5　透視表　105 3.8　小結(jié)　106 第　4 章 機(jī)器學(xué)習(xí)模塊之圖形展示Matplotlib 4.1　Matplotlib繪圖入門　108 4.1.1　Figure 和subplot　108 4.1.2　顏色、標(biāo)記和線型　110 4.1.3　坐標(biāo)軸標(biāo)記　114 4.1.4　添加圖例　116 4.1.5　注解　117 4.1.6　將圖表保存到文件　118 4.2　Matplotlib的繪圖方法　119 4.2.1　線型圖　119 4.2.2　餅圖　120 4.2.3　直方圖　121 4.2.4　條形圖　122 4.2.5　散點(diǎn)圖　123 4.3　小結(jié)　124 第Ⅲ篇　專業(yè)技能提升篇 第　5 章 機(jī)器學(xué)習(xí)算法之算法綜述 5.1　從算法巧斷小說懸疑情節(jié)　127 5.2　KNN算法概述　128 5.2.1　使用KNN算法分析生活日常事件　128 5.2.2　KNN算法的數(shù)據(jù)準(zhǔn)備：使用Python導(dǎo)入數(shù)據(jù)　131 5.2.3　如何測(cè)試分類器　133 5.3　KNN實(shí)戰(zhàn)示例：對(duì)美顏程度打分　134 5.3.1　準(zhǔn)備數(shù)據(jù)：從圖像和美顏等級(jí)表格中解析數(shù)據(jù)　135 5.3.2　分析數(shù)據(jù)：使用Matplotlib創(chuàng)建散點(diǎn)圖　136 5.3.3　測(cè)試算法：作為完整程序驗(yàn)證分類器　137 5.4　KNN實(shí)戰(zhàn)示例：手寫字識(shí)別系統(tǒng)　139 5.4.1　準(zhǔn)備數(shù)據(jù)：將圖像轉(zhuǎn)換為測(cè)試向量　140 5.4.2　測(cè)試算法：使用KNN算法識(shí)別手寫數(shù)字　141 5.5　KNN算法面試題解答　142 5.6　KNN算法自測(cè)題　142 5.7　小結(jié).142 第　6 章 機(jī)器學(xué)習(xí)算法之決策樹 6.1　巧斷推理案引入決策樹的妙用　144 6.2　決策樹算法概述　145 6.2.1　決策樹的構(gòu)造　146 6.2.2　決策樹的信息熵　147 6.2.3　決策樹的信息增益　148 6.2.4　主播帶貨能力分析闡釋熵及信息增益計(jì)算　149 6.3　決策樹創(chuàng)建實(shí)戰(zhàn)示例：公司老板發(fā)紅包　153 6.3.1　公司老板發(fā)紅包案例說明　153 6.3.2　熵值的計(jì)算算法實(shí)現(xiàn)　155 6.3.3　劃分?jǐn)?shù)據(jù)集算法實(shí)現(xiàn)　156 6.3.4　遞歸創(chuàng)建決策樹　157 6.4　決策樹畫法實(shí)戰(zhàn)示例：公司老板發(fā)紅包　160 6.4.1　注解的使用　160 6.4.2　構(gòu)造注解樹　162 6.5　決策樹測(cè)試存儲(chǔ)實(shí)戰(zhàn)示例：公司老板發(fā)紅包　167 6.5.1　決策樹測(cè)試算法　168 6.5.2　決策樹的存儲(chǔ)　168 6.6　決策樹預(yù)測(cè)實(shí)戰(zhàn)示例：預(yù)測(cè)海選歌手是否入圍　169 6.6.1　海選歌手入圍流程　169 6.6.2　準(zhǔn)備數(shù)據(jù)、分析數(shù)據(jù)　170 6.7　決策樹的剪枝　171 6.7.1　剪枝的概念　171 6.7.2　預(yù)剪枝　172 6.7.3　后剪枝　173 6.8　決策樹面試題解答　173 6.9　決策樹自測(cè)題　174 6.10　小結(jié)　174 第　7 章 機(jī)器學(xué)習(xí)算法之樸素貝葉斯 7.1　解決逃命問題引入樸素貝葉斯　176 7.2　對(duì)貝葉斯決策的理解　176 7.2.1　條件概率解釋案例：公司團(tuán)建　177 7.2.2　使用條件概率進(jìn)行分類　178 7.2.3　基于貝葉斯決策理論對(duì)分類方法的認(rèn)識(shí)　179 7.3　使用樸素貝葉斯進(jìn)行商品的情感分析　181 7.3.1　使用樸素貝葉斯進(jìn)行商品的情感分析概述　181 7.3.2　讀取商品評(píng)論并切分成文本　182 7.3.3　構(gòu)建詞向量　186 7.3.4　用詞向量計(jì)算概率　186 7.3.5　對(duì)算法的改進(jìn)　188 7.3.6　利用概率值進(jìn)行分類　189 7.3.7　測(cè)試算法　190 7.4　實(shí)戰(zhàn)示例：金庸和古龍小說風(fēng)格判別　191 7.4.1　收集數(shù)據(jù)　193 7.4.2　準(zhǔn)備數(shù)據(jù)　194 7.4.3　分析數(shù)據(jù)　194 7.4.4　測(cè)試算法　197 7.5　樸素貝葉斯面試題解答　198 7.6　樸素貝葉斯自測(cè)題　200 7.7　小結(jié)　200 第　8 章 機(jī)器學(xué)習(xí)算法之邏輯回歸 8.1　巧析力道學(xué)引入邏輯回歸　202 8.2　邏輯回歸概述　202 8.2.1　邏輯回歸的sigmoid函數(shù)　202 8.2.2　基于最優(yōu)化方法的最佳回歸系數(shù)確定　204 8.2.3　梯度上升算法　205 8.3　邏輯回歸實(shí)戰(zhàn)示例：鳶尾花分類實(shí)現(xiàn)回歸　209 8.3.1　鳶尾花分類數(shù)據(jù)集的準(zhǔn)備處理　209 8.3.2　鳶尾花分類邏輯回歸sigmoid函數(shù)的實(shí)現(xiàn)　210 8.3.3　鳶尾花分類邏輯回歸梯度上升函數(shù)的實(shí)現(xiàn)　210 8.3.4　鳶尾花分類邏輯回歸畫出決策邊界　211 8.3.5　鳶尾花分類邏輯回歸梯度上升算法的改進(jìn)　213 8.4　邏輯回歸實(shí)戰(zhàn)示例：商鋪扣點(diǎn)方式　215 8.4.1　商鋪扣點(diǎn)方式的數(shù)據(jù)讀取和處理　215 8.4.2　商鋪扣點(diǎn)方式的邏輯回歸分類實(shí)現(xiàn)　216 8.4.3　商鋪扣點(diǎn)方式的邏輯回歸分類算法的測(cè)試　216 8.5　邏輯回歸算法面試題解答　218 8.6　邏輯回歸算法自測(cè)題　218 8.7　小結(jié)　218 第　9 章 機(jī)器學(xué)習(xí)算法之支持向量機(jī) 9.1　巧分落花引入支持向量機(jī)　220 9.2　SVM算法概念　220 9.2.1　線性可分　220 9.2.2　超平面　222 9.2.3　SVM　222 9.3　SVM算法實(shí)戰(zhàn)示例:電視臺(tái)黃金時(shí)段節(jié)目滿意度　225 9.3.1　電視臺(tái)黃金時(shí)段節(jié)目滿意度數(shù)據(jù)的讀取　225 9.3.2　選取兩個(gè)不同Alpha值的輔助函數(shù)　226 9.3.3　Alpha值不允許超過邊界范圍的輔助函數(shù)　226 9.3.4　SMO算法原理的實(shí)現(xiàn)　227 9.3.5　計(jì)算不同的回歸系數(shù)　230 9.3.6　SVM分界線的繪制　230 9.4　SVM算法面試題解答　231 9.5　SVM算法自測(cè)題　232 9.6　小結(jié)　232 第　10章 機(jī)器學(xué)習(xí)算法之AdaBoost 10.1　巧析北斗陣法引入AdaBoost　234 10.2　AdaBoost算法概述　234 10.2.1　AdaBoost算法的具體思想　234 10.2.2　AdaBoost的弱分類器是單層決策樹　235 10.2.3　AdaBoost的數(shù)據(jù)權(quán)重　237 10.2.4　AdaBoost的投票表決　237 10.2.5　AdaBoost強(qiáng)分類過程　238 10.3　AdaBoost算法實(shí)現(xiàn)　245 10.3.1　決策樹數(shù)據(jù)根據(jù)閾值進(jìn)行分類算法的實(shí)現(xiàn)　246 10.3.2　單層決策樹算法的實(shí)現(xiàn)　246 10.3.3　AdaBoost算法的實(shí)現(xiàn)　247 10.4　AdaBoost算法實(shí)戰(zhàn)示例：商品購買預(yù)測(cè)　249 10.4.1　商品購買預(yù)測(cè)的數(shù)據(jù)讀取實(shí)現(xiàn)　249 10.4.2　商品購買預(yù)測(cè)的測(cè)試函數(shù)實(shí)現(xiàn)　250 10.4.3　商品購買預(yù)測(cè)的程序整合　251 10.5　AdaBoost算法面試題解答　252 10.6　AdaBoost算法自測(cè)題　252 10.7　小結(jié)　252 第　11章 機(jī)器學(xué)習(xí)算法之線性回歸 11.1　解決論劍問題引入線性回歸　254 11.2　線性回歸算法概述　254 11.2.1　線性回歸模型　255 11.2.2　線性回歸的最小二乘法　256 11.3　線性回歸實(shí)戰(zhàn)示例：釣魚久坐與魚重量關(guān)系　258 11.3.1　釣魚久坐與魚重量關(guān)系研究的數(shù)據(jù)讀取　258 11.3.2　釣魚久坐與魚重量關(guān)系研究的最佳擬合直線　258 11.3.3　釣魚久坐與魚重量關(guān)系研究的最佳擬合直線的繪制　259 11.4　線性回歸中的過擬合和欠擬合　260 11.4.1　線性回歸中的過擬合　260 11.4.2　線性回歸中的欠擬合　261 11.5　局部加權(quán)線性回歸　261 11.5.1　局部加權(quán)線性回歸的解釋　261 11.5.2　局部加權(quán)線性回歸的代碼實(shí)現(xiàn)　262 11.5.3　局部加權(quán)線性回歸的測(cè)試　263 11.6　線性回歸實(shí)戰(zhàn)示例：結(jié)合年齡和BMI擬合減肥花銷　263 11.6.1　結(jié)合年齡和BMI擬合減肥花銷的數(shù)據(jù)讀取　263 11.6.2　結(jié)合年齡和BMI擬合減肥花銷直線的函數(shù)實(shí)現(xiàn)　264 11.7　線性回歸提高：嶺回歸和套索回歸　265 11.7.1　嶺回歸　265 11.7.2　套索回歸　267 11.8　嶺回歸實(shí)戰(zhàn)示例：分析抖音視頻點(diǎn)擊率和收藏　267 11.8.1　嶺回歸分析抖音視頻點(diǎn)擊率和收藏的數(shù)據(jù)讀取　267 11.8.2　嶺回歸算法邏輯的實(shí)現(xiàn)　268 11.8.3　嶺回歸算法系數(shù)的測(cè)試　268 11.8.4　不同λ值的嶺回歸算法的最佳擬合直線　269 11.9　線性回歸算法面試題解答　270 11.10　線性回歸算法自測(cè)題　270 11.11　小結(jié)　270 第　12章 機(jī)器學(xué)習(xí)算法之k-means 12.1　“巧施反間計(jì)”引入k-means聚類　272 12.2　k-means算法概述　272 12.3　k-means幼兒園親子活動(dòng)　277 12.3.1　收集數(shù)據(jù)　278 12.3.2　準(zhǔn)備數(shù)據(jù)　278 12.3.3　分析數(shù)據(jù)　278 12.3.4　實(shí)現(xiàn)算法　278 12.3.5　畫出k-means算法的結(jié)果圖　280 12.4　圖像分割技術(shù)實(shí)現(xiàn)聚類　282 12.4.1　準(zhǔn)備數(shù)據(jù)　282 12.4.2　距離計(jì)算　283 12.4.3　第 一次隨機(jī)質(zhì)心的計(jì)算　283 12.4.4　k-means算法的改進(jìn)　284 12.4.5　k-means圖像分割的顯示　285 12.5　圖像分割算法的改進(jìn)　286 12.5.1　k-means圖像分割的顯示　286 12.5.2　像素距離的改進(jìn)　286 12.5.3　第 一次隨機(jī)質(zhì)心的計(jì)算　286 12.5.4　k-means算法的改進(jìn)　287 12.5.5　k-means圖像分割的顯示　287 12.6　k-means算法面試題解答　288 12.7　k-means算法自測(cè)題　289 12.8　小結(jié)　289 第　13章 機(jī)器學(xué)習(xí)算法之PCA 13.1　巧拼十八掌法引入PCA聚類　291 13.2　聚類的概念和分類　291 13.2.1　聚類的概念　291 13.2.2　分層凝聚聚類方法　292 13.2.3　PCA聚類方法　292 13.3　PCA聚類方法的求解步驟　295 13.3.1　協(xié)方差矩陣　296 13.3.2　奇異值求解296 13.4　PCA實(shí)戰(zhàn)示例：使用PCA實(shí)現(xiàn)菜品制作調(diào)料配比　298 13.4.1　準(zhǔn)備數(shù)據(jù)：菜品制作調(diào)料配比表數(shù)據(jù)的讀取　299 13.4.2　PCA算法：菜品制作調(diào)料配比表PCA降維　300 13.4.3　表征數(shù)據(jù)：菜品制作調(diào)料配比降維結(jié)果圖示　300 13.5　PCA實(shí)戰(zhàn)示例：使用PCA分析圖像壓縮技術(shù)　301 13.5.1　圖像讀�。篜illow模塊讀取圖像　302 13.5.2　圖像壓縮：PCA算法實(shí)現(xiàn)圖像壓縮　302 13.5.3　錯(cuò)誤率計(jì)算：圖像壓縮錯(cuò)誤率的計(jì)算　304 13.6　PCA算法面試題解答　304 13.7　PCA算法自測(cè)題　305 13.8　小結(jié)　305 第Ⅳ篇　深度學(xué)習(xí)延伸篇 第　14章 深度學(xué)習(xí)延伸之卷積神經(jīng)網(wǎng)絡(luò) 14.1　認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)　308 14.1.1　神經(jīng)元　308 14.1.2　激活函數(shù)　310 14.2　認(rèn)識(shí)卷積神經(jīng)網(wǎng)絡(luò)　312 14.2.1　卷積層　313 14.2.2　一維卷積過程　316 14.2.3　卷積神經(jīng)網(wǎng)絡(luò)輸入層前向傳播到卷積層　322 14.2.4　池化層　323 14.2.5　全連接層　324 14.3　Keras框架實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)　324 14.3.1　Keras模塊介紹　324 14.3.2　Keras框架的安裝　325 14.3.3　Keras框架數(shù)據(jù)集的準(zhǔn)備　325 14.3.4　Keras實(shí)現(xiàn)CNN卷積神經(jīng)網(wǎng)絡(luò)　326 14.4　小結(jié)　333 第Ⅴ篇　項(xiàng)目技能實(shí)戰(zhàn)篇 第　15章 機(jī)器學(xué)習(xí)實(shí)戰(zhàn)之驗(yàn)證碼識(shí)別 15.1　驗(yàn)證碼識(shí)別　336 15.2　圖像處理的灰度化、二值化　337 15.2.1　像素點(diǎn)　337 15.2.2　圖像灰度化　340 15.2.3　圖像二值化　342 15.3　圖像分割　343 15.3.1　按區(qū)域劃分的圖像分割技術(shù)　343 15.3.2　按邊緣劃分的圖像分割技術(shù)　345 15.3.3　圖像分割技術(shù)的進(jìn)階　347 15.4　KNN算法測(cè)試驗(yàn)證碼　351 15.4.1　Sklearn包的介紹　351 15.4.2　KNN算法測(cè)試驗(yàn)證碼　352 15.5　小結(jié)　354 第　16章 機(jī)器學(xué)習(xí)實(shí)戰(zhàn)之答題卡識(shí)別 16.1　答題卡識(shí)別　356 16.2　OpenCV　356 16.2.1　OpenCV介紹　356 16.2.2　安裝和使用OpenCV　357 16.2.3　OpenCV存取圖像　357 16.2.4　OpenCV圖像灰度化　359 16.2.5　OpenCV圖像二值化　360 16.2.6　OpenCV邊緣檢測(cè)　367 16.3　OpenCV形態(tài)學(xué)中腐蝕與膨脹　376 16.3.1　形態(tài)學(xué)中的膨脹　377 16.3.2　形態(tài)學(xué)中的腐蝕　381 16.3.3　腐蝕和膨脹的應(yīng)用　385 16.4　OpenCV輪廓findContours和drawContours　386 16.5　OpenCV霍夫直線檢測(cè)　388 16.6　答題卡識(shí)別　391 16.7　小結(jié)　396 第　17章 簡(jiǎn)歷分享就業(yè)之機(jī)器學(xué)習(xí)簡(jiǎn)歷指導(dǎo) 17.1　機(jī)器學(xué)習(xí)簡(jiǎn)歷中應(yīng)提及的技能　398 17.2　機(jī)器學(xué)習(xí)簡(jiǎn)歷中項(xiàng)目的描述　398 17.3　機(jī)器學(xué)習(xí)簡(jiǎn)歷分享　398 17.4　小結(jié)　400