機(jī)器學(xué)習(xí):貝葉斯和優(yōu)化方法(原書(shū)第2版)
定 價(jià):279 元
叢書(shū)名:智能科學(xué)與技術(shù)叢書(shū)
- 作者:[希]西格爾斯·西奧多里蒂斯(SergiosTheodoridis)
- 出版時(shí)間:2022/2/1
- ISBN:9787111692577
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:TP181
- 頁(yè)碼:
- 紙張:膠版紙
- 版次:
- 開(kāi)本:16開(kāi)
本書(shū)對(duì)所有重要的機(jī)器學(xué)習(xí)方法和新近研究趨勢(shì)進(jìn)行了深入探索,新版重寫(xiě)了關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的章節(jié),并擴(kuò)展了關(guān)于貝葉斯學(xué)習(xí)的內(nèi)容。書(shū)中首先討論基礎(chǔ)知識(shí),包括均方、zui小二乘和zui大似然方法,以及嶺回歸、貝葉斯決策理論分類、邏輯回歸和決策樹(shù)。然后介紹較新的技術(shù),包括稀疏建模方法、再生核希爾伯特空間和支持向量機(jī)中的學(xué)習(xí)、關(guān)注EM算法的貝葉斯推理及其變分近似推理、蒙特卡羅方法、關(guān)注貝葉斯網(wǎng)絡(luò)的概率圖模型、隱馬爾可夫模型和粒子濾波。此外,書(shū)中還討論了降維、隱變量建模、統(tǒng)計(jì)參數(shù)估計(jì)、維納和卡爾曼濾波、凸優(yōu)化等技術(shù)。本書(shū)適合該領(lǐng)域的科研人員和工程師閱讀,也適合學(xué)習(xí)模式識(shí)別、統(tǒng)計(jì)/自適應(yīng)信號(hào)處理和深度學(xué)習(xí)等課程的學(xué)生參考。
機(jī)器學(xué)習(xí)(machine learning)這個(gè)名字正受到越來(lái)越多的關(guān)注,它涵蓋數(shù)十年來(lái)在不同科學(xué)領(lǐng)域中研究和開(kāi)發(fā)的很多方法,這些方法有著不同的名字,如統(tǒng)計(jì)學(xué)習(xí)、統(tǒng)計(jì)信號(hào)處理、模式識(shí)別、自適應(yīng)信號(hào)處理、圖像處理與分析、系統(tǒng)辨識(shí)與控制、數(shù)據(jù)挖掘與信息檢索、計(jì)算機(jī)視覺(jué)以及計(jì)算學(xué)習(xí)。“機(jī)器學(xué)習(xí)”這個(gè)名字指出了所有這些學(xué)科的共同之處,即從數(shù)據(jù)中學(xué)習(xí)(learn from data)然后做出預(yù)測(cè)(make prediction)。人們嘗試通過(guò)構(gòu)造一個(gè)模型(model)來(lái)從數(shù)據(jù)中學(xué)習(xí)其深層結(jié)構(gòu)和規(guī)律,而這個(gè)模型即可用于預(yù)測(cè)。
為此,人們已經(jīng)提出了從代價(jià)函數(shù)優(yōu)化(其目標(biāo)是優(yōu)化觀測(cè)到的數(shù)據(jù)結(jié)果與模型預(yù)測(cè)結(jié)果間的偏差)到概率模型(試圖對(duì)觀測(cè)到的數(shù)據(jù)的統(tǒng)計(jì)特征進(jìn)行建模)等許多不同的方法。
本書(shū)的目標(biāo)是通過(guò)介紹多年來(lái)研究者所遵循的主要路線和方法來(lái)營(yíng)造一體式的學(xué)習(xí)體驗(yàn),引導(dǎo)讀者逐步探究機(jī)器學(xué)習(xí)領(lǐng)域。我并不傾向于某種特定的方法,因?yàn)槲蚁嘈艧o(wú)論是從應(yīng)用角度還是從教學(xué)角度看,所有方法對(duì)希望探索機(jī)器學(xué)習(xí)奧秘的初學(xué)者而言都是有價(jià)值的。如書(shū)名所示,本書(shū)重點(diǎn)關(guān)注機(jī)器學(xué)習(xí)的處理和分析,而非機(jī)器學(xué)習(xí)理論本身及相關(guān)的性能界限。換句話說(shuō),我們重點(diǎn)關(guān)注更靠近應(yīng)用層的方法和算法。
本書(shū)是我超過(guò)30年的相關(guān)研究經(jīng)驗(yàn)和相關(guān)課程教學(xué)經(jīng)驗(yàn)的結(jié)晶。本書(shū)的寫(xiě)作方法是令每一章(或相鄰兩章)盡可能獨(dú)立成篇。這樣,教師就可以根據(jù)需要選擇、組合某些章節(jié)以構(gòu)成其課程的重點(diǎn),普通讀者也可以在首次閱讀時(shí)根據(jù)需要有選擇地精讀某些章節(jié)。在第1章中,我將給出針對(duì)不同課程使用本書(shū)的一些指導(dǎo)。
本書(shū)每章都從基本概念和基本方法開(kāi)始,逐漸深入一些新進(jìn)展。某些主題需要分為兩章,例如稀疏感知學(xué)習(xí)、貝葉斯學(xué)習(xí)、概率圖模型以及蒙特卡羅方法。本書(shū)能滿足高年級(jí)本科生、研究生的學(xué)習(xí)需求,也適合不滿足于黑盒解決方案的科學(xué)家與工程師閱讀。此外,本書(shū)也能作為特定主題短期課程的教材或參考書(shū),例如稀疏建模、貝葉斯學(xué)習(xí)、概率圖模型、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)等主題。
第2版重要更新
本書(shū)的第1版出版于2015年,涵蓋2013~2014年機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展。這幾年恰逢深度學(xué)習(xí)領(lǐng)域研究真正蓬勃發(fā)展的開(kāi)端,深度學(xué)習(xí)重塑了我們的相關(guān)知識(shí),并徹底改變了機(jī)器學(xué)習(xí)領(lǐng)域。大體來(lái)說(shuō),第2版的重點(diǎn)是重寫(xiě)第18章。現(xiàn)在這一章對(duì)該領(lǐng)域做了全面回顧,包括從早期的感知機(jī)和感知機(jī)規(guī)則直到新的研究進(jìn)展,諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、對(duì)抗樣本、生成對(duì)抗網(wǎng)絡(luò)(GAN)和膠囊網(wǎng)絡(luò)等。
此外,第2版涵蓋更廣泛和詳細(xì)的非參數(shù)貝葉斯方法,如中國(guó)餐館過(guò)程(CRP)和印度自助餐過(guò)程(IBP)。我相信貝葉斯方法在未來(lái)的幾年里會(huì)越來(lái)越重要。當(dāng)然,誰(shuí)也不能保證這一定會(huì)發(fā)生。然而,我認(rèn)為不確定性將是未來(lái)模型的重要部分,而貝葉斯技術(shù)至少在原則上是一個(gè)合理的入手點(diǎn)。關(guān)于其他章節(jié),除修正拼寫(xiě)錯(cuò)誤之外,也根據(jù)學(xué)生、同事和評(píng)閱人的建議,改寫(xiě)了一些內(nèi)容以使本書(shū)更易于閱讀。在此深深地感謝他們。
本書(shū)大部分章節(jié)包含MATLAB練習(xí),相關(guān)代碼可從本書(shū)配套網(wǎng)站自由獲取。此外,在第2版中,所有的計(jì)算機(jī)練習(xí)還以Python編寫(xiě),并附有相應(yīng)的代碼,這些代碼也可以通過(guò)本書(shū)網(wǎng)站自由獲取。后,第18章中的一些與深度學(xué)習(xí)相關(guān)的、更接近實(shí)際應(yīng)用的計(jì)算機(jī)練習(xí)則用Tensorflow給出。
習(xí)題答案和講義幻燈片可從本書(shū)網(wǎng)站獲得,供教師使用。
關(guān)于本書(shū)教輔資源,只有使用本書(shū)作為教材的教師才可以申請(qǐng),需要的教師請(qǐng)?jiān)L問(wèn)愛(ài)思唯爾的教材網(wǎng)站
https://textbooks.elsevier.com/進(jìn)行申請(qǐng)。——編輯注
在第2版中,所有附錄都被移到配套網(wǎng)站上且可以自由下載,這是為了節(jié)省篇幅。另外,對(duì)于第1版中介紹方法的部分章節(jié),如果其不再是必要的基礎(chǔ)知識(shí)以及當(dāng)前的主流研究課題,雖然它們?cè)?015年是新興且“時(shí)髦”的,但在第2版中也被移除了,這些內(nèi)容可從配套網(wǎng)站下載。
教師網(wǎng)站網(wǎng)址:
http://textbooks.elsevier.com/web/Manuals.aspx?isbn=9780128188033
配套網(wǎng)站網(wǎng)址:
https://www.elsevier.com/booksandjournals/bookcompanion/9780128188033
西格爾斯·西奧多里蒂斯(Sergios Theodoridis) 雅典大學(xué)教授,香港中文大學(xué)(深圳)教授,研究興趣包括機(jī)器學(xué)習(xí)、模式識(shí)別和信號(hào)處理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow,曾任IEEE信號(hào)處理協(xié)會(huì)副主席、EURASIP主席以及IEEE Transactions on Signal Processing主編。曾獲2017年EURASIP Athanasios Papoulis獎(jiǎng),2014年IEEE信號(hào)處理雜志論文獎(jiǎng),以及2014年EURASIP有價(jià)值服務(wù)獎(jiǎng)等。此外,他還是經(jīng)典著作《模式識(shí)別》的作者。
譯者序
前言
致謝
作者簡(jiǎn)介
符號(hào)說(shuō)明
第1章 引言1
1.1 歷史背景1
1.2 人工智能與機(jī)器學(xué)習(xí)1
1.3 算法能學(xué)習(xí)數(shù)據(jù)中隱藏的東西3
1.4 機(jī)器學(xué)習(xí)典型應(yīng)用4
1.4.1 語(yǔ)音識(shí)別4
1.4.2 計(jì)算機(jī)視覺(jué)4
1.4.3 多模態(tài)數(shù)據(jù)5
1.4.4 自然語(yǔ)言處理5
1.4.5 機(jī)器人5
1.4.6 自動(dòng)駕駛5
1.4.7 未來(lái)的挑戰(zhàn)5
1.5 機(jī)器學(xué)習(xí)的主要方向6
1.5.1 監(jiān)督學(xué)習(xí)6
1.6 無(wú)監(jiān)督和半監(jiān)督學(xué)習(xí)8
1.7 本書(shū)結(jié)構(gòu)和路線圖9
參考文獻(xiàn)11
第2章 概率和隨機(jī)過(guò)程13
2.1 引言13
2.2 概率和隨機(jī)變量13
2.2.1 概率13
2.2.2 離散隨機(jī)變量14
2.2.3 連續(xù)隨機(jī)變量16
2.2.4 均值和方差16
2.2.5 隨機(jī)變量變換18
2.3 分布示例19
2.3.1 離散變量19
2.3.2 連續(xù)變量21
2.4 隨機(jī)過(guò)程27
2.4.1 一階和二階統(tǒng)計(jì)量28
2.4.2 平穩(wěn)性和遍歷性29
2.4.3 功率譜密度31
2.4.4 自回歸模型35
2.5 信息論38
2.5.1 離散隨機(jī)變量38
2.5.2 連續(xù)隨機(jī)變量41
2.6 隨機(jī)收斂42
2.6.1 處處收斂43
2.6.2 幾乎處處收斂43
2.6.3 均方意義下的收斂43
2.6.4 依概率收斂43
2.6.5 依分布收斂43
習(xí)題44
參考文獻(xiàn)45
第3章 參數(shù)化建模學(xué)習(xí):概念和方向46
3.1 引言46
3.2 參數(shù)估計(jì):確定性觀點(diǎn)46
3.3 線性回歸49
3.4 分類52
3.4.1 生成和判別學(xué)習(xí)54
3.5 有偏估計(jì)與無(wú)偏估計(jì)55
3.5.1 選擇有偏還是無(wú)偏估計(jì)56
3.6 克拉美-羅下界57
3.7 充分統(tǒng)計(jì)量60
3.8 正則化61
3.8.1 逆問(wèn)題:病態(tài)和過(guò)擬合63
3.9 偏差-方差困境65
3.9.1 均方誤差估計(jì)65
3.9.2 偏差-方差權(quán)衡66
3.10 似然法69
3.10.1 線性回歸:非白高斯噪聲實(shí)例71
3.11 貝葉斯推斷71
3.11.1 后驗(yàn)概率估計(jì)方法74
3.12 維數(shù)災(zāi)難75
3.13 驗(yàn)證76
3.13.1 交叉驗(yàn)證77
3.14 期望損失函數(shù)和經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)78
3.14.1 可學(xué)習(xí)性79
3.15 非參數(shù)建模和非參數(shù)估計(jì)79
習(xí)題80
參考文獻(xiàn)83
第4章 均方誤差線性估計(jì)85
4.1 引言85
4.2 均方誤差線性估計(jì):正規(guī)方程85
4.2.1 代價(jià)函數(shù)曲面86
4.3 幾何觀點(diǎn):正交性條件87
4.4 擴(kuò)展到復(fù)值變量89
4.4.1 寬線性復(fù)值估計(jì)90
4.4.2 復(fù)值變量?jī)?yōu)化:沃廷格微積分93
4.5 線性濾波94
4.6 均方誤差線性濾波:頻率域觀點(diǎn)96
4.6.1 反卷積:圖像去模糊96
4.7 一些典型應(yīng)用98
4.7.1 干擾抵消98
4.7.2 系統(tǒng)辨識(shí)99
4.7.3 反卷積:信道均衡100
4.8 算法方面:萊文森算法和格-梯算法105
4.8.1 前向后向均方誤差預(yù)測(cè)106
4.8.2 格-梯方案109
4.9 線性模型均方誤差估計(jì)111
4.9.1 高斯-馬爾可夫定理113
4.9.2 約束線性估計(jì):波束成形實(shí)例115
4.10 時(shí)變統(tǒng)計(jì):卡爾曼濾波118
習(xí)題123
參考文獻(xiàn)125
第5章 隨機(jī)梯度下降:LMS算法族127
5.1 引言127
5.2 速下降法127
5.3 應(yīng)用于均方誤差代價(jià)函數(shù)130
5.3.1 時(shí)變步長(zhǎng)135
5.3.2 復(fù)值情形135
5.4 隨機(jī)逼近136
5.4.1 在均方誤差線性估計(jì)中的應(yīng)用138
5.5 小均方自適應(yīng)算法139
5.5.1 平穩(wěn)環(huán)境中LMS算法的收斂和穩(wěn)態(tài)性能140
5.5.2 累積損失上界144
5.6 仿射投影算法145
5.6.1 APA的幾何解釋147
5.6.2 正交投影148
5.6.3 歸一化LMS算法149
5.7 復(fù)值情形150
5.7.1 寬線性LMS151
5.7.2 寬線性APA151
5.8 LMS同族算法152
5.8.1 符號(hào)誤差LMS152
5.8.2 小均四次方算法152
5.8.3 變換域LMS153
5.9 仿真示例155
5.10 自適應(yīng)判決反饋均衡157
5.11 線性約束LMS159
5.12 非平穩(wěn)環(huán)境中LMS算法的跟蹤性能160
5.13 分布式學(xué)習(xí):分布式LMS162
5.13.1 協(xié)同策略163
5.13.2 擴(kuò)散LMS164
5.13.3 收斂和穩(wěn)態(tài)性能:一些重點(diǎn)169
5.13.4 基于共識(shí)的分布式方法171
5.14 實(shí)例研究:目標(biāo)定位172
5.15 一些結(jié)論:共識(shí)矩陣174
習(xí)題174
參考文獻(xiàn)177
第6章 小二乘算法族181
6.1 引言181
6.2 小二乘線性回歸:幾何視角181
6.3 小二乘估計(jì)的統(tǒng)計(jì)特性183
6.3.1 LS估計(jì)是無(wú)偏估計(jì)183
6.3.2 LS估計(jì)的協(xié)方差矩陣183
6.3.3 白噪聲下LS估計(jì)是線性無(wú)偏估計(jì)184
6.3.4