第0章　導(dǎo)言 1
0.1　什么是神經(jīng)網(wǎng)絡(luò) 1
0.2　人腦 6
0.3　神經(jīng)元模型 10
0.4　視為有向圖的神經(jīng)網(wǎng)絡(luò) 15
0.5　反饋 18
0.6　網(wǎng)絡(luò)架構(gòu) 21
0.7　知識(shí)表征 24
0.8　學(xué)習(xí)過程 34
0.9　學(xué)習(xí)任務(wù) 38
0.10小結(jié) 45
注釋和參考文獻(xiàn) 46

第1章　Rosenblatt感知器 47
1.1　引言 47
1.2　感知器 48
1.3　感知器收斂定理 50
1.4　高斯環(huán)境下感知器與貝葉斯分類器的關(guān)系 55
1.5　計(jì)算機(jī)實(shí)驗(yàn)：模式分類 60
1.6　批量感知器算法 62
1.7　小結(jié)和討論 65
注釋和參考文獻(xiàn) 66
習(xí)題 66

第2章　回歸建模 68
2.1　引言 68
2.2　線性回歸模型：初步考慮 69
2.3　參數(shù)向量的后驗(yàn)估計(jì) 71
2.4　正則化最小二乘估計(jì)和MAP估計(jì)的關(guān)系 76
2.5　計(jì)算機(jī)實(shí)驗(yàn)：模式分類 77
2.6　最小描述長度原則 79
2.7　有限樣本量考慮 82
2.8　輔助變量法 86
2.9　小結(jié)和討論 88
注釋和參考文獻(xiàn) 89
習(xí)題 89

第3章　最小均方算法 91
3.1　引言 91
3.2　LMS算法的濾波結(jié)構(gòu) 92
3.3　無約束優(yōu)化：綜述 94
3.4　維納濾波器 100
3.5　最小均方算法 102
3.6　描述LMS算法和維納濾波器的偏差的馬爾可夫模型 104
3.7　朗之萬方程：布朗運(yùn)動(dòng)的特點(diǎn) 106
3.8　庫什納直接平均法 107
3.9　小學(xué)習(xí)率參數(shù)的統(tǒng)計(jì)LMS學(xué)習(xí)理論 108
3.10 計(jì)算機(jī)實(shí)驗(yàn)I：線性預(yù)測(cè) 110
3.11 計(jì)算機(jī)實(shí)驗(yàn)II：模式分類 112
3.12 LMS算法的優(yōu)缺點(diǎn) 113
3.13 學(xué)習(xí)率退火過程 115
3.14 小結(jié)和討論 117
注釋和參考文獻(xiàn) 118
習(xí)題 119

第4章　多層感知器 122
4.1 引言 123
4.2 預(yù)備知識(shí) 124
4.3 批量學(xué)習(xí)和在線學(xué)習(xí) 126
4.4 反向傳播算法 129
4.5 異或問題 141
4.6 提升反向傳播算法性能的啟發(fā)式方法 144
4.7 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 150
4.8 反向傳播與微分 153
4.9 海森矩陣及其對(duì)在線學(xué)習(xí)的作用 155
4.10 學(xué)習(xí)率的最優(yōu)退火和自適應(yīng)控制 157
4.11 泛化 164
4.12 函數(shù)逼近 166
4.13 交叉驗(yàn)證 171
4.14 復(fù)雜度正則化和網(wǎng)絡(luò)剪枝 175
4.15 反向傳播學(xué)習(xí)的優(yōu)缺點(diǎn) 180
4.16 視為優(yōu)化問題的監(jiān)督學(xué)習(xí) 186
4.17 卷積網(wǎng)絡(luò) 201
4.18 非線性濾波 203
4.19 大小規(guī)模學(xué)習(xí)問題 209
4.20 小結(jié)和討論 217
注釋和參考文獻(xiàn) 219
習(xí)題 221

第5章　核方法和徑向基函數(shù)網(wǎng)絡(luò) 230
5.1 引言 230
5.2 模式可分性的Cover定理 231
5.3 插值問題 236
5.4 徑向基函數(shù)網(wǎng)絡(luò) 239
5.5 均值聚類 242
5.6 權(quán)重向量的遞歸最小二乘估計(jì) 245
5.7 RBF網(wǎng)絡(luò)的混合學(xué)習(xí)過程 249
5.8 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 250
5.9 高斯隱藏單元的說明 252
5.10 核回歸及其與RBF網(wǎng)絡(luò)的關(guān)系 255
5.11 小結(jié)和討論 259
注釋和參考文獻(xiàn) 261
習(xí)題 263

第6章　支持向量機(jī) 268
6.1 引言 268
6.2 線性可分模式的最優(yōu)超平面 269
6.3 不可分模式的最優(yōu)超平面 276
6.4 視為核機(jī)器的支持向量機(jī) 281
6.5 構(gòu)建支持向量機(jī) 284
6.6 異或問題 286
6.7 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 289
6.8 回歸：魯棒性考慮 289
6.9 線性回歸問題的最優(yōu)解 293
6.10 表示定理和相關(guān)問題 296
6.11 小結(jié)和討論 302
注釋和參考文獻(xiàn) 304
習(xí)題 307

第7章　正則化理論 313
7.1 引言 313
7.2 哈達(dá)瑪適定性條件 314
7.3 Tikhonov的正則化理論 315
7.4 正則化網(wǎng)絡(luò) 326
7.5 廣義徑向基函數(shù)網(wǎng)絡(luò) 327
7.6 再論正則化最小二乘估計(jì) 331
7.7 關(guān)于正則化的其他說明 335
7.8 正則化參數(shù)估計(jì) 336
7.9 半監(jiān)督學(xué)習(xí) 342
7.10 流形正則化：初步考慮 343
7.11 可微流形 345
7.12 廣義正則化理論 348
7.13 圖譜論 350
7.14 廣義表示定理 352
7.15 拉普拉斯正則化最小二乘算法 354
7.16 半監(jiān)督學(xué)習(xí)的模式分類實(shí)驗(yàn) 356
7.17 小結(jié)和討論 359
注釋和參考文獻(xiàn) 361
習(xí)題 363

第8章　主成分分析 367
8.1 引言 367
8.2 自組織原則 368
8.3 自組織特征分析 372
8.4 主成分分析：微擾理論 373
8.5 基于Hebb的最大特征濾波器 383
8.6 基于Hebb的主成分分析 392
8.7 案例分析：圖像編碼 398
8.8 核主成分分析 401
8.9 自然圖像編碼的基本問題 406
8.10 核Hebb算法 407
8.11 小結(jié)和討論 412
注釋和參考文獻(xiàn) 415
習(xí)題 418

第9章 自組織映射 425
9.1 引言 425
9.2 兩個(gè)基本特征映射模型 426
9.3 自組織映射 428
9.4 特征映射的性質(zhì) 437
9.5 計(jì)算機(jī)實(shí)驗(yàn)I：利用SOM求解點(diǎn)陣動(dòng)力學(xué) 445
9.6 上下文映射 447
9.7 分層向量量化 450
9.8 核自組織映射 454
9.9 計(jì)算機(jī)實(shí)驗(yàn)II：使用核SOM求解點(diǎn)陣動(dòng)力學(xué) 462
9.10 核SOM與KL散度的關(guān)系 464
9.11 小結(jié)和討論 466
注釋和參考文獻(xiàn) 468
習(xí)題 470

第10章 信息論學(xué)習(xí)模型 475
10.1 引言 476
10.2 熵 477
10.3 最大熵原則 481
10.4 互信息 484
10.5 KL散度 486
10.6 Copula函數(shù) 489
10.7 作為待優(yōu)化目標(biāo)函數(shù)的互信息 493
10.8 最大互信息原理 494
10.9 最大互信息與冗余減少 499
10.10 空間相干特征 501
10.11 空間非相干特征 504
10.12 獨(dú)立成分分析 508
10.13 自然圖像的稀疏編碼與ICA編碼比較 514
10.14 獨(dú)立成分分析的自然梯度學(xué)習(xí) 516
10.15 獨(dú)立成分分析的最大似然估計(jì) 526
10.16 盲源分離的最大熵學(xué)習(xí) 529
10.17 獨(dú)立成分分析的負(fù)熵的最大化 534
10.18 相干獨(dú)立成分分析 541
10.19 率失真理論與信息瓶頸 549
10.20 數(shù)據(jù)的最優(yōu)流形表示 553
10.21 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 560
10.22 小結(jié)和討論 561
注釋和參考文獻(xiàn) 564
習(xí)題 572

第11章 源于統(tǒng)計(jì)力學(xué)的隨機(jī)方法 579
11.1 引言 580
11.2 統(tǒng)計(jì)力學(xué) 580
11.3 馬爾可夫鏈 582
11.4 Metropolis算法 591
11.5 模擬退火 594
11.6 吉布斯采樣 596
11.7 玻爾茲曼機(jī) 598
11.8 邏輯置信網(wǎng)絡(luò) 604
11.9 深度置信網(wǎng)絡(luò) 606
11.10 確定性退火 610
11.11 確定性退火與期望最大化算法的類比 616
11.12 小結(jié)和討論 617
注釋和參考文獻(xiàn) 619
習(xí)題 621

第12章　動(dòng)態(tài)規(guī)劃 627
12.1 引言 627
12.2 馬爾可夫決策過程 629
12.3 貝爾曼最優(yōu)性準(zhǔn)則 631
12.4 策略迭代 635
12.5 值迭代 637
12.6 近似動(dòng)態(tài)規(guī)劃：直接法 642
12.7 時(shí)序差分學(xué)習(xí) 643
12.8 Q學(xué)習(xí) 648
12.9 近似動(dòng)態(tài)規(guī)劃：間接法 652
12.10 最小二乘策略評(píng)估 655
12.11 近似策略迭代 660
12.12 小結(jié)和討論 663
注釋和參考文獻(xiàn) 665
習(xí)題 668

第13章　神經(jīng)動(dòng)力學(xué) 672
13.1 引言 672
13.2 動(dòng)力系統(tǒng) 674
13.3 平衡狀態(tài)的穩(wěn)定性 678
13.4 吸引子 684
13.5 神經(jīng)動(dòng)力學(xué)模型 686
13.6 作為一個(gè)遞歸網(wǎng)絡(luò)范式的吸引子操作 689
13.7 Hopfield模型 690
13.8 Cohen-Grossberg定理 703
13.9 盒中腦狀態(tài)模型 705
13.10 奇異吸引子與混沌 711
13.11 混沌過程的動(dòng)態(tài)重建 716
13.12 小結(jié)和討論 722
注釋和參考文獻(xiàn) 724
習(xí)題 727

第14章　動(dòng)態(tài)系統(tǒng)狀態(tài)估計(jì)的貝葉斯濾波 731
14.1 引言 731
14.2 狀態(tài)空間模型 732
14.3 卡爾曼濾波器 736
14.4 發(fā)散現(xiàn)象與平方根濾波 744
14.5 擴(kuò)展卡爾曼濾波器 750
14.6 貝葉斯濾波器 755
14.7 容積卡爾曼濾波器：基于卡爾曼濾波器 759
14.8 粒子濾波器 765
14.9 計(jì)算機(jī)實(shí)驗(yàn)：擴(kuò)展卡爾曼濾波器與粒子濾波器的比較 775
14.10 腦功能建模中的卡爾曼濾波 777
14.11 小結(jié)和討論 780
注釋和參考文獻(xiàn) 782
習(xí)題 784

第15章　動(dòng)態(tài)驅(qū)動(dòng)遞歸網(wǎng)絡(luò) 790
15.1 引言 790
15.2 遞歸網(wǎng)絡(luò)架構(gòu) 791
15.3 萬能逼近定理 797
15.4 可控性和可觀察性 799
15.5 遞歸網(wǎng)絡(luò)的計(jì)算能力 804
15.6 學(xué)習(xí)算法 806
15.7 時(shí)間反向傳播 808
15.8 實(shí)時(shí)遞歸學(xué)習(xí) 812
15.9 遞歸網(wǎng)絡(luò)中的梯度消失 818
15.10 使用非線性序列狀態(tài)估計(jì)的遞歸網(wǎng)絡(luò)的監(jiān)督訓(xùn)練框架 822
15.11 計(jì)算機(jī)實(shí)驗(yàn)：Mackay-Glass吸引子的動(dòng)態(tài)重建 829
15.12 適應(yīng)性考慮 831
15.13 案例分析：應(yīng)用于神經(jīng)網(wǎng)絡(luò)控制的模型參考 833
15.14 小結(jié)和討論 835
注釋和參考文獻(xiàn) 839
習(xí)題 842

參考文獻(xiàn) 847