近年來(lái)，隨著深度強(qiáng)化學(xué)習(xí)在諸多復(fù)雜的博弈對(duì)抗、序貫決策等問(wèn)題中取得巨大突破，人工智能儼然成為當(dāng)今社會(huì)的關(guān)注焦點(diǎn)。而棋類(lèi)游戲在人工智能發(fā)展中一直占據(jù)著重要地位。2016年，AlphaGo戰(zhàn)勝李世石引起了社會(huì)各界的廣泛關(guān)注,大量的報(bào)道與文獻(xiàn)爭(zhēng)相介紹了有關(guān)AlphaGo在圍棋領(lǐng)域的發(fā)展?fàn)顩r，這些都使得人們對(duì)其背后的奧秘產(chǎn)生了前所未有的學(xué)習(xí)熱情，也讓越來(lái)越多的人對(duì)人工智能技術(shù)抱有新的期望。人工智能被稱(chēng)為第四次科技革命，人工智能技術(shù)已成為世界各國(guó)角逐的技術(shù)高地。未來(lái)人工智能產(chǎn)業(yè)必將成為經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量。

本書(shū)主要內(nèi)容

本書(shū)可視為一本以解決實(shí)際問(wèn)題為導(dǎo)向的書(shū)籍，非常適合具備一定數(shù)學(xué)基礎(chǔ)和Python基礎(chǔ)的讀者學(xué)習(xí)。讀者可以在短時(shí)間內(nèi)掌握本書(shū)中介紹的所有算法。

全書(shū)共分為三大部分，共有10章。

第一部分介紹計(jì)算機(jī)圍棋的基礎(chǔ)知識(shí)和傳統(tǒng)的智能算法，包括第1～3章。第1章圍棋： 黑白的世界，包括什么是圍棋、圍棋的規(guī)則、圍棋的勝負(fù)判定方法以及圍棋棋手棋力的介紹。第2章實(shí)現(xiàn)一個(gè)圍棋軟件，包括本書(shū)使用的應(yīng)用軟件版本、圍棋軟件建模概述、佐布里斯特散列算法、實(shí)踐圍棋智能體、實(shí)踐圍棋棋盤(pán)、實(shí)踐圍棋規(guī)則判定和實(shí)踐完整的圍棋軟件。第3章傳統(tǒng)的棋類(lèi)智能，包括極小化極大算法的原理和應(yīng)用舉例、Alpha�睟eta剪枝算法的原理和應(yīng)用舉例、棋類(lèi)局面評(píng)估、蒙特卡羅模擬的原理和應(yīng)用舉例、傳統(tǒng)監(jiān)督學(xué)習(xí)的簡(jiǎn)要介紹以及對(duì)傳統(tǒng)方法的討論。

第二部分介紹基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)，包括第4～6章。第4章機(jī)器學(xué)習(xí)入門(mén)，包括人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)介紹、優(yōu)化神經(jīng)網(wǎng)絡(luò)和對(duì)其他人工智能方法的簡(jiǎn)介。第5章第一個(gè)圍棋智能體，包括對(duì)計(jì)算機(jī)圍棋棋譜的介紹、對(duì)HDF5大數(shù)據(jù)存儲(chǔ)文件格式的介紹、圍棋智能體的數(shù)據(jù)模型、如何獲取訓(xùn)練樣本以及應(yīng)用示例代碼的演示。第6章通用化圍棋智能體程序，包括如何搭建自己的圍棋對(duì)弈網(wǎng)絡(luò)平臺(tái)、如何讓圍棋智能體支持第三方圍棋程序的調(diào)用，如何讓圍棋智能體在公開(kāi)的網(wǎng)絡(luò)平臺(tái)上下棋。

第三部分介紹強(qiáng)化學(xué)習(xí)，包括第7～10章。第7章策略梯度，包括原理、應(yīng)用舉例，并以此為基礎(chǔ)實(shí)踐圍棋智能體。第8章深度價(jià)值網(wǎng)絡(luò)，包括傳統(tǒng)Q�睱earning、Sarsa及Sarsa��λ算法的原理、應(yīng)用舉例，并以此為基礎(chǔ)實(shí)踐圍棋智能體。第9章Actor�睠ritic算法，包括算法原理及如何實(shí)踐圍棋智能體。第10章AlphaGo和AlphaZero，包括AlphaGo算法和AlphaZero算法原理，指導(dǎo)實(shí)踐深度強(qiáng)化學(xué)習(xí)與蒙特卡羅樹(shù)搜索相結(jié)合的算法。

本書(shū)特色

(1) 問(wèn)題驅(qū)動(dòng)，由淺入深。

本書(shū)通過(guò)分解問(wèn)題，由淺入深，逐步地對(duì)如何實(shí)踐超越人類(lèi)大師級(jí)水平的計(jì)算機(jī)棋類(lèi)智能體的重要概念及原理進(jìn)行講解與探究，為讀者更好地掌握其背后的計(jì)算機(jī)強(qiáng)化學(xué)習(xí)原理提供便利和支持。

(2) 突出重點(diǎn)，強(qiáng)化理解。

本書(shū)結(jié)合作者多年的教學(xué)與實(shí)踐經(jīng)驗(yàn)，針對(duì)應(yīng)用型本科的教學(xué)要求和學(xué)生特點(diǎn)，突出重點(diǎn)，深入分析，同時(shí)在內(nèi)容方面全面兼顧知識(shí)的系統(tǒng)化要求。

(3) 注重理論，聯(lián)系實(shí)際。

本書(shū)為重要的知識(shí)點(diǎn)均配備了代碼講解，采用Python語(yǔ)言結(jié)合Keras和PyTorch工具庫(kù)，通過(guò)對(duì)圍棋智能體的代碼實(shí)踐，加深讀者對(duì)機(jī)器學(xué)習(xí)，特別是強(qiáng)化學(xué)習(xí)的再認(rèn)識(shí)。

(4) 風(fēng)格簡(jiǎn)潔，使用方便。

本書(shū)風(fēng)格簡(jiǎn)潔明快，對(duì)于非重點(diǎn)的內(nèi)容不做長(zhǎng)篇論述，以便讀者在學(xué)習(xí)過(guò)程中明確內(nèi)容之間的邏輯關(guān)系，更好地掌握深度強(qiáng)化學(xué)習(xí)的內(nèi)容。

配套資源

為便于教與學(xué)，本書(shū)配有微課視頻(280分鐘)、源代碼、軟件安裝包。

(1) 獲取微課視頻方式： 讀者可以先掃描本書(shū)封底的文泉云盤(pán)防盜碼，再掃描書(shū)中相應(yīng)的視頻二維碼，觀看視頻。

(2) 獲取源代碼、軟件安裝包、彩色圖片和全書(shū)網(wǎng)址方式： 先掃描本書(shū)封底的文泉云盤(pán)防盜碼，再掃描下方二維碼，即可獲取。

源代碼

軟件安裝包

彩色圖片

全書(shū)網(wǎng)址

(3) 其他配套資源可以掃描本書(shū)封底的書(shū)圈二維碼，關(guān)注后回復(fù)本書(shū)書(shū)號(hào)，即可下載。

讀者對(duì)象

本書(shū)主要面向廣大從事數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘或深度學(xué)習(xí)的專(zhuān)業(yè)人員，從事高等教育的專(zhuān)任教師，高等學(xué)校的在讀學(xué)生以及相關(guān)領(lǐng)域的廣大科研人員。

作者在編寫(xiě)本書(shū)過(guò)程中，參考了諸多相關(guān)資料，在此對(duì)相關(guān)資料的作者表示衷心的感謝。限于個(gè)人水平和時(shí)間倉(cāng)促，書(shū)中難免存在疏漏之處，歡迎廣大讀者批評(píng)指正。

作者2023年1月