前　　言
從算法角度看，神經(jīng)網(wǎng)絡(luò)分Training（訓(xùn)練）和Inference（推理）兩個(gè)過(guò)程，本書(shū)主要討論Inference過(guò)程。從技術(shù)類(lèi)別看，本書(shū)主要討論神經(jīng)網(wǎng)絡(luò)硬件，尤其是芯片設(shè)計(jì)層面的內(nèi)容，如何訓(xùn)練出優(yōu)秀的模型、如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)加速器的驅(qū)動(dòng)程序和編譯器等內(nèi)容均非本書(shū)重點(diǎn)。
本書(shū)內(nèi)容主要分三部分：神經(jīng)網(wǎng)絡(luò)的分析、神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)及具體的實(shí)現(xiàn)技術(shù)。通過(guò)閱讀本書(shū)，讀者可以深入了解主流的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，掌握如何從零開(kāi)始設(shè)計(jì)一個(gè)能用、好用的產(chǎn)品級(jí)加速器。
兵馬未動(dòng)，糧草先行，在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)加速器之前，需要對(duì)主流的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、常見(jiàn)算子，以及各個(gè)算子運(yùn)算細(xì)節(jié)有深入的理解。第1章介紹了目前主流圖像處理領(lǐng)域神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，提取出各個(gè)網(wǎng)絡(luò)的基本塊、網(wǎng)絡(luò)算子及其參數(shù)量和運(yùn)算量，闡述了加速器的編程模型和硬件架構(gòu)分類(lèi)。
程序=數(shù)據(jù)結(jié)構(gòu) 算法，第2、3章分別討論了加速器運(yùn)算子系統(tǒng)和存儲(chǔ)子系統(tǒng)的設(shè)計(jì)，并對(duì)NVDLA、TPU、GPU實(shí)現(xiàn)卷積運(yùn)算的過(guò)程進(jìn)行了詳細(xì)的推演，以便讀者對(duì)加速器架構(gòu)設(shè)計(jì)有初步的了解。
加速器設(shè)計(jì)需要綜合能力，僅靠零碎的靈感和天馬行空的創(chuàng)意，設(shè)計(jì)不出能用、好用的加速器產(chǎn)品。第4～6章用大量篇幅討論了加速器設(shè)計(jì)中可能遇到的問(wèn)題及解決方法。
生活不止眼前的茍且，還有詩(shī)和遠(yuǎn)方，在加速器的設(shè)計(jì)過(guò)程中，閉門(mén)造車(chē)不可取，在埋頭苦干的間歇，仰頭望望天空和遠(yuǎn)方，或許有意想不到的收獲。第7章對(duì)加速器進(jìn)行盤(pán)點(diǎn)，展望了神經(jīng)網(wǎng)絡(luò)加速器的未來(lái)，希望對(duì)讀者有所啟發(fā)。
一圖勝千言，很多復(fù)雜的邏輯用一張圖就能輕松解釋?zhuān)�很多煩瑣的言語(yǔ)用一張圖就能直觀表達(dá)。本書(shū)包含100余幅圖，希望將講述的內(nèi)容清晰地傳達(dá)給讀者。
一切皆有可能，本書(shū)在討論具體設(shè)計(jì)問(wèn)題時(shí)，一般會(huì)先給出多種建議，然后篩選出合理的方案，意在傳達(dá)硬件架構(gòu)設(shè)計(jì)的思維方式。很多思維方式不僅限于神經(jīng)網(wǎng)絡(luò)加速器，由此及彼，可推而廣之。
感謝我的朋友姜君、周焱、王瑋琪，他們總是耐心地鼓勵(lì)和幫助我，我從他們身上學(xué)到很多。感謝我的太太張金艷和女兒甄溪，她們也為這本書(shū)付出了很多。
閱讀本書(shū)不需要太多預(yù)備知識(shí)，需要的是求知探索的勇氣和耐心。如果讀者有任何問(wèn)題和建議，歡迎與我聯(lián)系：rill_zhen@126.com。

甄建勇
2023年3月于上海