譯者序
前言
作者簡介
審校者簡介
第1章　歡迎來到機器人世界1
　1.1　開始你的AI旅程1
　1.2　四種不同的AI模型2
　1.3　學習AI可以讓你做什么3
　1.4　小結5
第2章　探索你的AI工具包6
　2.1　GitHub源代碼頁面6
　2.2　Colaboratory 運行環(huán)境7
　2.3　小結11
第3章　Python基礎——學習如何用Python編程12
　3.1　顯示文本13
　3.2　變量和操作13
　3.3　列表和數(shù)組14
　3.4　if語句和條件16
　3.5　for循環(huán)和while循環(huán)17
　3.6　函數(shù)21
　3.7　類和對象22
　3.8　小結24
第4章　AI基礎技巧25
　4.1　什么是強化學習25
　4.2　強化學習的五大原理26
4.2.1　原理#1——輸入與輸出系統(tǒng)26
4.2.2　原理#2——獎勵27
4.2.3　原理#3——AI環(huán)境27
4.2.4　原理#4——馬爾可夫決策過程28
4.2.5　原理#5——訓練與推斷28
　4.3　小結30
第5章　你的第一個AI模型——小心老虎機31
　5.1　多臂老虎機問題31
　5.2　湯普森采樣模型32
5.2.1　模型編程32
5.2.2　理解模型36
5.2.3　什么是分布37
5.2.4　應對多臂老虎機問題39
5.2.5　湯普森采樣策略三步走41
5.2.6　湯普森采樣模型的臨門一腳42
5.2.7　湯普森采樣模型與標準模型42
　5.3　小結44
第6章　銷售和廣告中的AI——像“AI街之狼”一樣銷售45
　6.1　待解決的問題45
　6.2　用仿真構建AI環(huán)境47
6.2.1　運行仿真程序48
6.2.2　回顧50
　6.3　AI解決方案及其直覺的回顧50
6.3.1　AI解決方案51
6.3.2　直覺51
　6.4　技術實現(xiàn)52
6.4.1　湯普森采樣與隨機策略選擇52
6.4.2　開始編程52
6.4.3　最終結果57
　6.5　小結58
第7章　歡迎來到Q學習59
　7.1　迷宮59
7.1.1　第一步60
7.1.2　構建環(huán)境61
7.1.3　構建AI模型64
　7.2　Q學習的完整流程66
7.2.1　訓練模式66
7.2.2　推斷模式67
　7.3　小結67
第8章　物流行業(yè)中的AI——倉庫中的機器人68
　8.1　構建環(huán)境69
8.1.1　狀態(tài)70
8.1.2　行為70
8.1.3　獎勵70
8.1.4　AI解決方案回顧70
　8.2　技術實現(xiàn)71
8.2.1　第1部分——構建環(huán)境72
8.2.2　第2部分——用Q學習構建AI解決方案74
8.2.3　第3部分——進入推斷模式75
8.2.4　改進1——自動化獎勵分配77
8.2.5　改進2——加入一個中間目標80
　8.3　小結82
第9章　人工大腦——深度Q學習83
　9.1　預測房價83
9.1.1　上傳數(shù)據(jù)集84
9.1.2　導入依賴庫85
9.1.3　排除變量86
9.1.4　準備數(shù)據(jù)87
9.1.5　構建神經(jīng)網(wǎng)絡90
9.1.6　訓練神經(jīng)網(wǎng)絡91
9.1.7　展示結果91
　9.2　深度學習理論92
9.2.1　神經(jīng)元92
9.2.2　激活函數(shù)95
9.2.3　神經(jīng)網(wǎng)絡的工作原理98
9.2.4　神經(jīng)網(wǎng)絡如何學習98
9.2.5　正向傳播算法和反向傳播算法99
9.2.6　梯度下降算法100
　9.3　深度Q學習106
9.3.1　歸一化指數(shù)方法107
9.3.2　深度Q學習回顧108
9.3.3　經(jīng)驗回放109
9.3.4　深度Q學習的完整算法109
　9.4　小結110
第10章　自動駕駛汽車中的AI——造一輛自動駕駛汽車111
　10.1　構建環(huán)境111
10.1.1　設定目標113
10.1.2　設置參數(shù)116
10.1.3　輸入狀態(tài)118
10.1.4　輸出行為119
10.1.5　獎勵120
　10.2　AI解決方案回顧122
　10.3　技術實現(xiàn)123
10.3.1　第1步——導入依賴庫123
10.3.2　第2步——創(chuàng)造神經(jīng)網(wǎng)絡的架構124
10.3.3　第3步——實現(xiàn)經(jīng)驗回放127
10.3.4　第4步——實現(xiàn)深度Q學習130
　10.4　演示138
10.4.1　安裝Anaconda139
10.4.2　用Python 3.6創(chuàng)建一個虛擬環(huán)境140
10.4.3　安裝PyTorch142
10.4.4　安裝Kivy143
　10.5　小結151
第11章　商業(yè)中的AI——用深度Q學習使成本最小化152
　11.1　要解決的問題152
　11.2　構建環(huán)境153
11.2.1　服務器環(huán)境中的常量和變量153
11.2.2　關于服務器環(huán)境的假設154
11.2.3　仿真155
11.2.4　整體功能156
11.2.5　定義狀態(tài)157
11.2.6　定義行為158
11.2.7　定義獎勵158
11.2.8　最后的仿真示例159
　11.3　AI解決方案161
11.3.1　大腦162
11.3.2　技術實現(xiàn)163
　11.4　演示191
11.5　回顧——通用AI框架/藍圖199
　11.6　小結200
第12章　深度卷積Q學習201
　12.1　CNN有什么用途201
　12.2　CNN的工作原理202
12.2.1　第1步——卷積204
12.2.2　第2步——最大池化206
12.2.3　第3步——扁平化209
12.2.4　第4步——全連接210
　12.3　深度卷積Q學習211
　12.4　小結212
第13章　游戲中的AI——成為《貪吃蛇》大師213
　13.1　要解決的問題213
　13.2　構建環(huán)境214
13.2.1　定義狀態(tài)214
13.2.2　定義行為215
13.2.3　定義獎勵216
　13.3　AI解決方案216
13.3.1　大腦217
13.3.2　經(jīng)驗回放記憶218
　13.4　技術實現(xiàn)219
13.4.1　第1步——構建環(huán)境219
13.4.2　第2步——構建大腦226
13.4.3　第3步——構建經(jīng)驗回放記憶228
13.4.4　第4步——訓練AI模型230
13.4.5　第5步——測試AI模型235
　13.5　演示237
13.5.1　安裝237
13.5.2　結果242
　13.6　小結243
第14章　回顧與總結244
　14.1　回顧——整體AI框架/藍圖244
　14.2　探索你在AI領域的下一站245
14.2.1　不斷練習246
14.2.2　社交247
14.2.3　學無止境247