機器學習：貝葉斯和優(yōu)化方法（原書第2版）
定 價：279 元
叢書名：智能科學與技術叢書
- 作者：[希]西格爾斯·西奧多里蒂斯(SergiosTheodoridis)
- 出版時間：2022/2/1
- ISBN：9787111692577
- 出 版 社：機械工業(yè)出版社
- 中圖法分類：TP181
- 頁碼：
- 紙張：膠版紙
- 版次：
- 開本：16開
本書對所有重要的機器學習方法和新近研究趨勢進行了深入探索，新版重寫了關于神經(jīng)網(wǎng)絡和深度學習的章節(jié)，并擴展了關于貝葉斯學習的內容。書中首先討論基礎知識，包括均方、zui小二乘和zui大似然方法，以及嶺回歸、貝葉斯決策理論分類、邏輯回歸和決策樹。然后介紹較新的技術，包括稀疏建模方法、再生核希爾伯特空間和支持向量機中的學習、關注EM算法的貝葉斯推理及其變分近似推理、蒙特卡羅方法、關注貝葉斯網(wǎng)絡的概率圖模型、隱馬爾可夫模型和粒子濾波。此外，書中還討論了降維、隱變量建模、統(tǒng)計參數(shù)估計、維納和卡爾曼濾波、凸優(yōu)化等技術。本書適合該領域的科研人員和工程師閱讀，也適合學習模式識別、統(tǒng)計/自適應信號處理和深度學習等課程的學生參考。
機器學習（machine learning）這個名字正受到越來越多的關注，它涵蓋數(shù)十年來在不同科學領域中研究和開發(fā)的很多方法，這些方法有著不同的名字，如統(tǒng)計學習、統(tǒng)計信號處理、模式識別、自適應信號處理、圖像處理與分析、系統(tǒng)辨識與控制、數(shù)據(jù)挖掘與信息檢索、計算機視覺以及計算學習�！皺C器學習”這個名字指出了所有這些學科的共同之處，即從數(shù)據(jù)中學習（learn from data）然后做出預測（make prediction）。人們嘗試通過構造一個模型（model）來從數(shù)據(jù)中學習其深層結構和規(guī)律，而這個模型即可用于預測。
為此，人們已經(jīng)提出了從代價函數(shù)優(yōu)化（其目標是優(yōu)化觀測到的數(shù)據(jù)結果與模型預測結果間的偏差）到概率模型（試圖對觀測到的數(shù)據(jù)的統(tǒng)計特征進行建模）等許多不同的方法。
本書的目標是通過介紹多年來研究者所遵循的主要路線和方法來營造一體式的學習體驗，引導讀者逐步探究機器學習領域。我并不傾向于某種特定的方法，因為我相信無論是從應用角度還是從教學角度看，所有方法對希望探索機器學習奧秘的初學者而言都是有價值的。如書名所示，本書重點關注機器學習的處理和分析，而非機器學習理論本身及相關的性能界限。換句話說，我們重點關注更靠近應用層的方法和算法。
本書是我超過30年的相關研究經(jīng)驗和相關課程教學經(jīng)驗的結晶。本書的寫作方法是令每一章（或相鄰兩章）盡可能獨立成篇。這樣，教師就可以根據(jù)需要選擇、組合某些章節(jié)以構成其課程的重點，普通讀者也可以在首次閱讀時根據(jù)需要有選擇地精讀某些章節(jié)。在第1章中，我將給出針對不同課程使用本書的一些指導。
本書每章都從基本概念和基本方法開始，逐漸深入一些新進展。某些主題需要分為兩章，例如稀疏感知學習、貝葉斯學習、概率圖模型以及蒙特卡羅方法。本書能滿足高年級本科生、研究生的學習需求，也適合不滿足于黑盒解決方案的科學家與工程師閱讀。此外，本書也能作為特定主題短期課程的教材或參考書，例如稀疏建模、貝葉斯學習、概率圖模型、神經(jīng)網(wǎng)絡和深度學習等主題。
第2版重要更新
本書的第1版出版于2015年，涵蓋2013~2014年機器學習領域的進展。這幾年恰逢深度學習領域研究真正蓬勃發(fā)展的開端，深度學習重塑了我們的相關知識，并徹底改變了機器學習領域。大體來說，第2版的重點是重寫第18章�，F(xiàn)在這一章對該領域做了全面回顧，包括從早期的感知機和感知機規(guī)則直到新的研究進展，諸如卷積神經(jīng)網(wǎng)絡（CNN）、循環(huán)神經(jīng)網(wǎng)絡（RNN）、對抗樣本、生成對抗網(wǎng)絡（GAN）和膠囊網(wǎng)絡等。
此外，第2版涵蓋更廣泛和詳細的非參數(shù)貝葉斯方法，如中國餐館過程（CRP）和印度自助餐過程（IBP）。我相信貝葉斯方法在未來的幾年里會越來越重要。當然，誰也不能保證這一定會發(fā)生。然而，我認為不確定性將是未來模型的重要部分，而貝葉斯技術至少在原則上是一個合理的入手點。關于其他章節(jié)，除修正拼寫錯誤之外，也根據(jù)學生、同事和評閱人的建議，改寫了一些內容以使本書更易于閱讀。在此深深地感謝他們。
本書大部分章節(jié)包含MATLAB練習，相關代碼可從本書配套網(wǎng)站自由獲取。此外，在第2版中，所有的計算機練習還以Python編寫，并附有相應的代碼，這些代碼也可以通過本書網(wǎng)站自由獲取。后，第18章中的一些與深度學習相關的、更接近實際應用的計算機練習則用Tensorflow給出。
習題答案和講義幻燈片可從本書網(wǎng)站獲得，供教師使用。
關于本書教輔資源，只有使用本書作為教材的教師才可以申請，需要的教師請訪問愛思唯爾的教材網(wǎng)站
https://textbooks.elsevier.com/進行申請�！庉嬜�
在第2版中，所有附錄都被移到配套網(wǎng)站上且可以自由下載，這是為了節(jié)省篇幅。另外，對于第1版中介紹方法的部分章節(jié)，如果其不再是必要的基礎知識以及當前的主流研究課題，雖然它們在2015年是新興且“時髦”的，但在第2版中也被移除了，這些內容可從配套網(wǎng)站下載。
教師網(wǎng)站網(wǎng)址：
http://textbooks.elsevier.com/web/Manuals.aspx?isbn=9780128188033
配套網(wǎng)站網(wǎng)址：
https://www.elsevier.com/booksandjournals/bookcompanion/9780128188033
西格爾斯·西奧多里蒂斯（Sergios Theodoridis） 雅典大學教授，香港中文大學（深圳）教授，研究興趣包括機器學習、模式識別和信號處理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow，曾任IEEE信號處理協(xié)會副主席、EURASIP主席以及IEEE Transactions on Signal Processing主編。曾獲2017年EURASIP Athanasios Papoulis獎，2014年IEEE信號處理雜志論文獎，以及2014年EURASIP有價值服務獎等。此外，他還是經(jīng)典著作《模式識別》的作者。
譯者序
前言
致謝
作者簡介
符號說明
第1章 引言1
1.1 歷史背景1
1.2 人工智能與機器學習1
1.3 算法能學習數(shù)據(jù)中隱藏的東西3
1.4 機器學習典型應用4
1.4.1 語音識別4
1.4.2 計算機視覺4
1.4.3 多模態(tài)數(shù)據(jù)5
1.4.4 自然語言處理5
1.4.5 機器人5
1.4.6 自動駕駛5
1.4.7 未來的挑戰(zhàn)5
1.5 機器學習的主要方向6
1.5.1 監(jiān)督學習6
1.6 無監(jiān)督和半監(jiān)督學習8
1.7 本書結構和路線圖9
參考文獻11
第2章 概率和隨機過程13
2.1 引言13
2.2 概率和隨機變量13
2.2.1 概率13
2.2.2 離散隨機變量14
2.2.3 連續(xù)隨機變量16
2.2.4 均值和方差16
2.2.5 隨機變量變換18
2.3 分布示例19
2.3.1 離散變量19
2.3.2 連續(xù)變量21
2.4 隨機過程27
2.4.1 一階和二階統(tǒng)計量28
2.4.2 平穩(wěn)性和遍歷性29
2.4.3 功率譜密度31
2.4.4 自回歸模型35
2.5 信息論38
2.5.1 離散隨機變量38
2.5.2 連續(xù)隨機變量41
2.6 隨機收斂42
2.6.1 處處收斂43
2.6.2 幾乎處處收斂43
2.6.3 均方意義下的收斂43
2.6.4 依概率收斂43
2.6.5 依分布收斂43
習題44
參考文獻45
第3章 參數(shù)化建模學習：概念和方向46
3.1 引言46
3.2 參數(shù)估計：確定性觀點46
3.3 線性回歸49
3.4 分類52
3.4.1 生成和判別學習54
3.5 有偏估計與無偏估計55
3.5.1 選擇有偏還是無偏估計56
3.6 克拉美-羅下界57
3.7 充分統(tǒng)計量60
3.8 正則化61
3.8.1 逆問題：病態(tài)和過擬合63
3.9 偏差-方差困境65
3.9.1 均方誤差估計65
3.9.2 偏差-方差權衡66
3.10 似然法69
3.10.1 線性回歸：非白高斯噪聲實例71
3.11 貝葉斯推斷71
3.11.1 后驗概率估計方法74
3.12 維數(shù)災難75
3.13 驗證76
3.13.1 交叉驗證77
3.14 期望損失函數(shù)和經(jīng)驗風險函數(shù)78
3.14.1 可學習性79
3.15 非參數(shù)建模和非參數(shù)估計79
習題80
參考文獻83
第4章 均方誤差線性估計85
4.1 引言85
4.2 均方誤差線性估計：正規(guī)方程85
4.2.1 代價函數(shù)曲面86
4.3 幾何觀點：正交性條件87
4.4 擴展到復值變量89
4.4.1 寬線性復值估計90
4.4.2 復值變量優(yōu)化：沃廷格微積分93
4.5 線性濾波94
4.6 均方誤差線性濾波：頻率域觀點96
4.6.1 反卷積：圖像去模糊96
4.7 一些典型應用98
4.7.1 干擾抵消98
4.7.2 系統(tǒng)辨識99
4.7.3 反卷積：信道均衡100
4.8 算法方面：萊文森算法和格-梯算法105
4.8.1 前向后向均方誤差預測106
4.8.2 格-梯方案109
4.9 線性模型均方誤差估計111
4.9.1 高斯-馬爾可夫定理113
4.9.2 約束線性估計：波束成形實例115
4.10 時變統(tǒng)計：卡爾曼濾波118
習題123
參考文獻125
第5章 隨機梯度下降：LMS算法族127
5.1 引言127
5.2 速下降法127
5.3 應用于均方誤差代價函數(shù)130
5.3.1 時變步長135
5.3.2 復值情形135
5.4 隨機逼近136
5.4.1 在均方誤差線性估計中的應用138
5.5 小均方自適應算法139
5.5.1 平穩(wěn)環(huán)境中LMS算法的收斂和穩(wěn)態(tài)性能140
5.5.2 累積損失上界144
5.6 仿射投影算法145
5.6.1 APA的幾何解釋147
5.6.2 正交投影148
5.6.3 歸一化LMS算法149
5.7 復值情形150
5.7.1 寬線性LMS151
5.7.2 寬線性APA151
5.8 LMS同族算法152
5.8.1 符號誤差LMS152
5.8.2 小均四次方算法152
5.8.3 變換域LMS153
5.9 仿真示例155
5.10 自適應判決反饋均衡157
5.11 線性約束LMS159
5.12 非平穩(wěn)環(huán)境中LMS算法的跟蹤性能160
5.13 分布式學習：分布式LMS162
5.13.1 協(xié)同策略163
5.13.2 擴散LMS164
5.13.3 收斂和穩(wěn)態(tài)性能：一些重點169
5.13.4 基于共識的分布式方法171
5.14 實例研究：目標定位172
5.15 一些結論：共識矩陣174
習題174
參考文獻177
第6章 小二乘算法族181
6.1 引言181
6.2 小二乘線性回歸：幾何視角181
6.3 小二乘估計的統(tǒng)計特性183
6.3.1 LS估計是無偏估計183
6.3.2 LS估計的協(xié)方差矩陣183
6.3.3 白噪聲下LS估計是線性無偏估計184
6.3.4
書單推薦
