目 錄

第1章 從邏輯學(xué)到認(rèn)知科學(xué) 1

1.1 人工神經(jīng)網(wǎng)絡(luò)的起源 1

1.2　異或(XOR)問(wèn)題 6

1.3　從認(rèn)知科學(xué)到深度學(xué)習(xí) 8

1.4　總體人工智能景觀中的神經(jīng)網(wǎng)絡(luò) 12

1.5　哲學(xué)和認(rèn)知概念 13

第2章 數(shù)學(xué)和計(jì)算先決條件 17

2.1 求導(dǎo)和函數(shù)極小化 17

2.2 向量、矩陣和線性規(guī)劃 26

2.3 概率分布 34

2.4 邏輯學(xué)和圖靈機(jī) 41

2.5 編寫Python代碼 44

2.6 Python編程概述 46

第3章 機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí) 55

3.1 基本分類問(wèn)題 55

3.2 評(píng)估分類結(jié)果 61

3.3 一種簡(jiǎn)單的分類器：樸素貝葉斯 64

3.4 一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)：邏輯回歸 67

3.5 MNIST數(shù)據(jù)集簡(jiǎn)介 73

3.6 沒(méi)有標(biāo)簽的學(xué)習(xí)：k均值 76

3.7 學(xué)習(xí)不同的表示形式：PCA 78

3.8 學(xué)習(xí)語(yǔ)言：詞袋表示 81

第4章 前饋神經(jīng)網(wǎng)絡(luò) 85

4.1 神經(jīng)網(wǎng)絡(luò)的基本概念和術(shù)語(yǔ) 85

4.2 使用向量和矩陣表示網(wǎng)絡(luò)分量 88

4.3 感知器法則 90

4.4 Delta法則 93

4.5 從邏輯神經(jīng)元到反向傳播 95

4.6 反向傳播 100

4.7 一個(gè)完整的前饋神經(jīng)網(wǎng)絡(luò) 110

第5章 前饋神經(jīng)網(wǎng)絡(luò)的修改和擴(kuò)展 113

5.1 正則化的概念 113

5.2 L1和L2正則化 115

5.3 學(xué)習(xí)率、動(dòng)量和丟棄 117

5.4 隨機(jī)梯度下降和在線學(xué)習(xí) 123

5.5 關(guān)于多個(gè)隱藏層的問(wèn)題：梯度消失和梯度爆炸 124

第6章 卷積神經(jīng)網(wǎng)絡(luò) 127

6.1 第三次介紹邏輯回歸 127

6.2 特征圖和池化 131

6.3 一個(gè)完整的卷積網(wǎng)絡(luò) 133

6.4 使用卷積網(wǎng)絡(luò)對(duì)文本進(jìn)行分類 136

第7章 循環(huán)神經(jīng)網(wǎng)絡(luò) 141

7.1 不等長(zhǎng)序列 141

7.2 使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的三種設(shè)置 143

7.3 添加反饋環(huán)并展開(kāi)神經(jīng)網(wǎng)絡(luò) 145

7.4 埃爾曼網(wǎng)絡(luò) 146

7.5 長(zhǎng)短期記憶網(wǎng)絡(luò) 148

7.6 使用循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)后續(xù)單詞 151

第8章 自動(dòng)編碼器 161

8.1 學(xué)習(xí)表示 161

8.2 不同的自動(dòng)編碼器體系結(jié)構(gòu) 164

8.3 疊加自動(dòng)編碼器 166

8.4 重新創(chuàng)建貓論文 170

第9章 神經(jīng)語(yǔ)言模型 173

9.1 詞嵌入和詞類比 173

9.2 CBOW和Word2vec 174

9.3 Word2vec代碼 176

9.4 單詞領(lǐng)域概覽：一種摒棄符號(hào)AI的觀點(diǎn) 179

第10章 不同神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)概述 183

10.1 基于能量的模型 183

10.2 基于記憶的模型 186

10.3 通用聯(lián)結(jié)主義智能的內(nèi)核：bAbI數(shù)據(jù)集 189

第11章 結(jié)論 193

11.1 開(kāi)放性研究問(wèn)題簡(jiǎn)單概述 193

11.2 聯(lián)結(jié)主義精神與哲學(xué)聯(lián)系 194