第1章　大語(yǔ)言模型的發(fā)展 001

1.1　人工智能的發(fā)展階段 002

1.2　從深度學(xué)習(xí)到大語(yǔ)言模型 004

第2章　Transformer模型 006

2.1　Transformer模型的基本原理 007

2.1.1　注意力機(jī)制 007

2.1.2　自注意力機(jī)制 010

2.1.3　多頭注意力機(jī)制 011

2.2　Transformer模型的結(jié)構(gòu)和模塊 013

2.2.1　位置編碼 014

2.2.2　編碼器 016

2.2.3　解碼器 020

2.2.4　模型代碼 024

2.3　Transformer模型在NLP任務(wù)中的應(yīng)用 025

2.4　使用MindSpore實(shí)現(xiàn)基于Transformer模型的文本機(jī)器翻譯模型 026

2.4.1　數(shù)據(jù)集準(zhǔn)備與數(shù)據(jù)預(yù)處理 026

2.4.2　模型構(gòu)建 033

2.4.3　模型訓(xùn)練與評(píng)估 034

2.4.4　模型推理 037

2.5參考文獻(xiàn) 040

第3章　BERT實(shí)踐 041

3.1　BERT基本原理 042

3.2　BERT結(jié)構(gòu) 043

3.3　BERT預(yù)訓(xùn)練 045

3.4　BERT微調(diào) 046

3.5　使用MindSpore實(shí)現(xiàn)數(shù)據(jù)并行的BERT預(yù)訓(xùn)練 047

3.6　參考文獻(xiàn) 050

第4章　GPT實(shí)踐 051

4.1　GPT基本原理 052

4.2　GPT訓(xùn)練框架 053

4.2.1　無(wú)監(jiān)督預(yù)訓(xùn)練 054

4.2.2　有監(jiān)督微調(diào) 054

4.2.3　GPT下游任務(wù)及模型輸入 055

4.3　使用MindSpore實(shí)現(xiàn)GPT的微調(diào) 056

4.3.1　數(shù)據(jù)預(yù)處理 056

4.3.2　模型定義 059

4.3.3　模型訓(xùn)練 066

4.3.4　模型評(píng)估 067

4.4　參考文獻(xiàn) 067

第5章　GPT-2實(shí)踐 068

5.1　GPT-2的基本原理 069

5.2　GPT-2的技術(shù)創(chuàng)新與改進(jìn) 070

5.3　GPT-2的優(yōu)缺點(diǎn) 071

5.4　使用MindSpore實(shí)現(xiàn)GPT-2的微調(diào) 072

5.5　參考文獻(xiàn) 076

第6章　自動(dòng)并行 077

6.1數(shù)據(jù)并行原理 078

6.2　算子并行原理 080

6.3　優(yōu)化器并行原理 082

6.3.1　背景及意義 082

6.3.2　基本原理 083

6.4　流水線(xiàn)并行原理 085

6.4.1　背景及意義 085

6.4.2　基本原理 085

6.5　MoE并行原理 086

6.5.1　背景及意義 086

6.5.2　算法原理 088

6.6　自動(dòng)并行策略搜索 089

6.6.1　策略搜索定位 090

6.6.2　策略搜索算法 091

6.6.3　MindSpore實(shí)踐 092

6.7　異構(gòu)計(jì)算 092

6.7.1　計(jì)算流程 092

6.7.2　優(yōu)化器異構(gòu) 093

6.7.3　詞表異構(gòu) 094

6.7.4　參數(shù)服務(wù)器異構(gòu) 095

6.7.5　多層存儲(chǔ) 096

6.8　大語(yǔ)言模型性能分析 097

6.8.1　縮短單個(gè)模塊耗時(shí) 097

6.8.2　提高不同模塊任務(wù)間的并行度 097

6.9　MindFormers接口 099

6.9.1　準(zhǔn)備工作 099

6.9.2　Trainer高階接口快速入門(mén) 099

6.9.3　Pipeline推理接口快速入門(mén) 101

6.9.4　AutoClass快速入門(mén) 101

6.9.5　Transformer接口介紹 102

6.10　參考文獻(xiàn) 103

第7章　大語(yǔ)言模型預(yù)訓(xùn)練與微調(diào) 106

7.1　預(yù)訓(xùn)練大語(yǔ)言模型代碼生成 107

7.1.1　多語(yǔ)言代碼生成模型CodeGeeX 107

7.1.2　多語(yǔ)言代碼生成基準(zhǔn)HumanEval-X 109

7.2　提示調(diào)優(yōu) 111

7.2.1　提示流程 111

7.2.2　提示模板 114

7.2.3　優(yōu)缺點(diǎn)分析 115

7.3　指令調(diào)優(yōu) 116

7.3.1　基本流程 116

7.3.2　指令模板 117

7.3.3　優(yōu)缺點(diǎn)分析 118

7.4　參考文獻(xiàn) 119

第8章　基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí) 121

8.1　基本原理 122

8.2　強(qiáng)化學(xué)習(xí) 122

8.2.1　核心思想 122

8.2.2　關(guān)鍵元素 123

8.2.3　策略與價(jià)值函數(shù) 123

8.2.4　PPO算法 124

8.3　InstructGPT和ChatGPT中的RLHF 126

8.3.1　訓(xùn)練流程 126

8.3.2　訓(xùn)練任務(wù) 127

8.3.3　模型效果 128

8.4　優(yōu)缺點(diǎn)分析 129

8.5　參考文獻(xiàn) 130

第9章　BLOOM和LLaMA模型實(shí)踐 131

9.1　BLOOM介紹 132

9.1.1　模型結(jié)構(gòu) 132

9.1.2　預(yù)訓(xùn)練數(shù)據(jù)集 134

9.2　BLOOM實(shí)現(xiàn) 136

9.2.1　BLOOM架構(gòu)實(shí)現(xiàn) 136

9.2.2　BLOOM總結(jié) 142

9.3　基于BLOOM的微調(diào) 142

9.3.1　數(shù)據(jù)集準(zhǔn)備 142

9.3.2　Checkpoint轉(zhuǎn)換 142

9.3.3　生成集群通信表 143

9.3.4　啟動(dòng)預(yù)訓(xùn)練或微調(diào) 143

9.3.5　微調(diào)后的對(duì)話(huà)效果 144

9.4　LLaMA模型介紹 148

9.4.1　模型結(jié)構(gòu) 148

9.4.2　預(yù)訓(xùn)練 152

9.4.3　SFT與RLHF 152

9.5　LLaMA模型實(shí)現(xiàn) 153

9.5.1　LLaMA模型模塊實(shí)現(xiàn) 153

9.5.2　LLaMA模型結(jié)構(gòu)實(shí)現(xiàn) 155

9.6　基于LLaMA模型的微調(diào) 159

9.6.1　數(shù)據(jù)集準(zhǔn)備 159

9.6.2　ckpt轉(zhuǎn)換 159

9.6.3　生成集群通信表 159

9.6.4　啟動(dòng)微調(diào) 160

9.6.5　微調(diào)效果 160

9.7　參考文獻(xiàn) 161