本書從基礎(chǔ)知識(shí)入手，詳細(xì)講解通過強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)構(gòu)建AI系統(tǒng)所需的一切，并通過5個(gè)完整的項(xiàng)目實(shí)例，循序漸進(jìn)展示如何使用*佳、*簡(jiǎn)單的AI編程工具（包括Python、TensorFlow、Keras和PyTorch）構(gòu)建智能軟件。具體內(nèi)容包括AI工具包、Python基礎(chǔ)、AI基礎(chǔ)技巧、你的第一個(gè)AI模型、銷售和廣告中的AI、Q學(xué)習(xí)、物流行業(yè)中的AI、人工大腦、自動(dòng)駕駛車輛中的AI、商業(yè)中的AI、深度卷積Q學(xué)習(xí)、游戲中的AI。
譯者序
前言
作者簡(jiǎn)介
審校者簡(jiǎn)介
第1章 歡迎來到機(jī)器人世界1
1.1 開始你的AI旅程1
1.2 四種不同的AI模型2
1.3 學(xué)習(xí)AI可以讓你做什么3
1.4 小結(jié)5
第2章 探索你的AI工具包6
2.1 GitHub源代碼頁面6
2.2 Colaboratory 運(yùn)行環(huán)境7
2.3 小結(jié)11
第3章 Python基礎(chǔ)——學(xué)習(xí)如何用Python編程12
3.1 顯示文本13
3.2 變量和操作13
3.3 列表和數(shù)組14
3.4 if語句和條件16
3.5 for循環(huán)和while循環(huán)17
3.6 函數(shù)21
3.7 類和對(duì)象22
3.8 小結(jié)24
第4章 AI基礎(chǔ)技巧25
4.1 什么是強(qiáng)化學(xué)習(xí)25
4.2 強(qiáng)化學(xué)習(xí)的五大原理26
4.2.1 原理#1——輸入與輸出系統(tǒng)26
4.2.2 原理#2——獎(jiǎng)勵(lì)27
4.2.3 原理#3——AI環(huán)境27
4.2.4 原理#4——馬爾可夫決策過程28
4.2.5 原理#5——訓(xùn)練與推斷28
4.3 小結(jié)30
第5章 你的第一個(gè)AI模型——小心老虎機(jī)31
5.1 多臂老虎機(jī)問題31
5.2 湯普森采樣模型32
5.2.1 模型編程32
5.2.2 理解模型36
5.2.3 什么是分布37
5.2.4 應(yīng)對(duì)多臂老虎機(jī)問題39
5.2.5 湯普森采樣策略三步走41
5.2.6 湯普森采樣模型的臨門一腳42
5.2.7 湯普森采樣模型與標(biāo)準(zhǔn)模型42
5.3 小結(jié)44
第6章 銷售和廣告中的AI——像“AI街之狼”一樣銷售45
6.1 待解決的問題45
6.2 用仿真構(gòu)建AI環(huán)境47
6.2.1 運(yùn)行仿真程序48
6.2.2 回顧50
6.3 AI解決方案及其直覺的回顧50
6.3.1 AI解決方案51
6.3.2 直覺51
6.4 技術(shù)實(shí)現(xiàn)52
6.4.1 湯普森采樣與隨機(jī)策略選擇52
6.4.2 開始編程52
6.4.3 最終結(jié)果57
6.5 小結(jié)58
第7章 歡迎來到Q學(xué)習(xí)59
7.1 迷宮59
7.1.1 第一步60
7.1.2 構(gòu)建環(huán)境61
7.1.3 構(gòu)建AI模型64
7.2 Q學(xué)習(xí)的完整流程66
7.2.1 訓(xùn)練模式66
7.2.2 推斷模式67
7.3 小結(jié)67
第8章 物流行業(yè)中的AI——倉庫中的機(jī)器人68
8.1 構(gòu)建環(huán)境69
8.1.1 狀態(tài)70
8.1.2 行為70
8.1.3 獎(jiǎng)勵(lì)70
8.1.4 AI解決方案回顧70
8.2 技術(shù)實(shí)現(xiàn)71
8.2.1 第1部分——構(gòu)建環(huán)境72
8.2.2 第2部分——用Q學(xué)習(xí)構(gòu)建AI解決方案74
8.2.3 第3部分——進(jìn)入推斷模式75
8.2.4 改進(jìn)1——自動(dòng)化獎(jiǎng)勵(lì)分配77
8.2.5 改進(jìn)2——加入一個(gè)中間目標(biāo)80
8.3 小結(jié)82
第9章 人工大腦——深度Q學(xué)習(xí)83
9.1 預(yù)測(cè)房價(jià)83
9.1.1 上傳數(shù)據(jù)集84
9.1.2 導(dǎo)入依賴庫85
9.1.3 排除變量86
9.1.4 準(zhǔn)備數(shù)據(jù)87
9.1.5 構(gòu)建神經(jīng)網(wǎng)絡(luò)90
9.1.6 訓(xùn)練神經(jīng)網(wǎng)絡(luò)91
9.1.7 展示結(jié)果91
9.2 深度學(xué)習(xí)理論92
9.2.1 神經(jīng)元92
9.2.2 激活函數(shù)95
9.2.3 神經(jīng)網(wǎng)絡(luò)的工作原理98
9.2.4 神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)98
9.2.5 正向傳播算法和反向傳播算法99
9.2.6 梯度下降算法100
9.3 深度Q學(xué)習(xí)106
9.3.1 歸一化指數(shù)方法107
9.3.2 深度Q學(xué)習(xí)回顧108
9.3.3 經(jīng)驗(yàn)回放109
9.3.4 深度Q學(xué)習(xí)的完整算法109
9.4 小結(jié)110
第10章 自動(dòng)駕駛汽車中的AI——造一輛自動(dòng)駕駛汽車111
10.1 構(gòu)建環(huán)境111
10.1.1 設(shè)定目標(biāo)113
10.1.2 設(shè)置參數(shù)116
10.1.3 輸入狀態(tài)118
10.1.4 輸出行為119
10.1.5 獎(jiǎng)勵(lì)120
10.2 AI解決方案回顧122
10.3 技術(shù)實(shí)現(xiàn)123
10.3.1 第1步——導(dǎo)入依賴庫123
10.3.2 第2步——?jiǎng)?chuàng)造神經(jīng)網(wǎng)絡(luò)的架構(gòu)124
10.3.3 第3步——實(shí)現(xiàn)經(jīng)驗(yàn)回放127
10.3.4 第4步——實(shí)現(xiàn)深度Q學(xué)習(xí)130
10.4 演示138
10.4.1 安裝Anaconda139
10.4.2 用Python 3.6創(chuàng)建一個(gè)虛擬環(huán)境140
10.4.3 安裝PyTorch142
10.4.4 安裝Kivy143
10.5 小結(jié)151
第11章 商業(yè)中的AI——用深度Q學(xué)習(xí)使成本最小化152
11.1 要解決的問題152
11.2 構(gòu)建環(huán)境153
11.2.1 服務(wù)器環(huán)境中的常量和變量153
11.2.2 關(guān)于服務(wù)器環(huán)境的假設(shè)154
11.2.3 仿真155
11.2.4 整體功能156
11.2.5 定義狀態(tài)157
11.2.6 定義行為158
11.2.7 定義獎(jiǎng)勵(lì)158
11.2.8 最后的仿真示例159
11.3 AI解決方案161
11.3.1 大腦162
11.3.2 技術(shù)實(shí)現(xiàn)163
11.4 演示191
11.5 回顧——通用AI框架/藍(lán)圖199
11.6 小結(jié)200
第12章 深度卷積Q學(xué)習(xí)201
12.1 CNN有什么用途201
12.2 CNN的工作原理202
12.2.1 第1步——卷積204
12.2.2 第2步——最大池化206
12.2.3 第3步——扁平化209
12.2.4 第4步——全連接210
12.3 深度卷積Q學(xué)習(xí)211
12.4 小結(jié)212
第13章 游戲中的AI——成為《貪吃蛇》大師213
13.1 要解決的問題213
13.2 構(gòu)建環(huán)境214
13.2.1 定義狀態(tài)214
13.2.2 定義行為215
13.2.3 定義獎(jiǎng)勵(lì)216
13.3 AI解決方案216
13.3.1 大腦217
13.3.2 經(jīng)驗(yàn)回放記憶218
13.4 技術(shù)實(shí)現(xiàn)219
13.4.1 第1步——構(gòu)建環(huán)境219
13.4.2 第2步——構(gòu)建大腦226
13.4.3 第3步——構(gòu)建經(jīng)驗(yàn)回放記憶228
13.4.4 第4步——訓(xùn)練AI模型230
13.4.5 第5步——測(cè)試AI模型235
13.5 演示237
13.5.1 安裝237
13.5.2 結(jié)果242
13.6 小結(jié)243
第14章 回顧與總結(jié)244
14.1 回顧——整體AI框架/藍(lán)圖244
14.2 探索你在AI領(lǐng)域的下一站245
14.2.1 不斷練習(xí)246
14.2.2 社交247
14.2.3 學(xué)無止境247
書單推薦
