" 本書旨在幫助讀者理解開源大語言模型的架構(gòu)、訓(xùn)練和推理過程，以及相關(guān)的源代碼。主要研究對(duì)象是Meta開源的Llama模型。本書從Python Numpy實(shí)現(xiàn)單層感知機(jī)和神經(jīng)網(wǎng)絡(luò)開始，逐步講解了如何實(shí)現(xiàn)Transformer模型和Llama模型。此外，本書還介紹了增量預(yù)訓(xùn)練模型、監(jiān)督微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)等模型訓(xùn)練過程。對(duì)于私有知識(shí)的加入，書中重點(diǎn)介紹了監(jiān)督微調(diào)，也介紹了RAG中詞向量的計(jì)算。本書采用循序漸進(jìn)的方式，通過功能框圖、代碼分解執(zhí)行、執(zhí)行結(jié)果顯示、背景知識(shí)補(bǔ)充等手段幫助讀者理解模型和算法。
本書的核心讀者群體定位為大語言模型應(yīng)用的開發(fā)人員，特別適合那些想從計(jì)算機(jī)視覺轉(zhuǎn)向自然語言處理的人。此外，本書還適合作為大學(xué)本科生及研究生相關(guān)課程的參考教材使用。"