第 一部分 導(dǎo)論

第 1章 遷移學(xué)習(xí)簡(jiǎn)介 3

1.1 NLP領(lǐng)域典型任務(wù)概述 5

1.2 理解人工智能背景下的NLP技術(shù) 6

1.2.1 人工智能 7

1.2.2 機(jī)器學(xué)習(xí) 7

1.2.3 自然語(yǔ)言處理 11

1.3 NLP發(fā)展簡(jiǎn)史 12

1.3.1 NLP簡(jiǎn)介 12

1.3.2 遷移學(xué)習(xí)的進(jìn)展 14

1.4 計(jì)算機(jī)視覺(jué)中的遷移學(xué)習(xí) 16

1.4.1 概述 16

1.4.2 ImageNet預(yù)訓(xùn)練模型 17

1.4.3 ImageNet預(yù)訓(xùn)練模型的微調(diào) 18

1.5 NLP遷移學(xué)習(xí)成為一個(gè)令人興奮的研究課題的原因 19

小結(jié) 20

第 2章 從頭開(kāi)始：數(shù)據(jù)預(yù)處理 21

2.1 垃圾電子郵件分類任務(wù)中示例數(shù)據(jù)的預(yù)處理 23

2.1.1 加載并檢視Enron電子郵件語(yǔ)料庫(kù) 24

2.1.2 加載并檢視欺詐電子郵件數(shù)據(jù)集 26

2.1.3 將電子郵件文本轉(zhuǎn)換為數(shù)值 30

2.2 電影評(píng)論情感分類任務(wù)中示例數(shù)據(jù)的預(yù)處理 32

2.3 廣義線性模型 35

2.3.1 邏輯斯諦回歸 36

2.3.2 支持向量機(jī) 38

小結(jié) 38

第3章 從頭開(kāi)始：基準(zhǔn)測(cè)試和優(yōu)化 41

3.1 基于決策樹(shù)的模型 41

3.1.1 隨機(jī)森林 42

3.1.2 梯度提升機(jī) 42

3.2 神經(jīng)網(wǎng)絡(luò)模型 47

3.2.1 語(yǔ)言模型嵌入 47

3.2.2 BERT模型簡(jiǎn)介 52

3.3 效果優(yōu)化 56

3.3.1 手動(dòng)超參調(diào)優(yōu) 56

3.3.2 系統(tǒng)化超參調(diào)優(yōu) 57

小結(jié) 58

第二部分 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的淺層遷移學(xué)習(xí)和深度遷移學(xué)習(xí)

第4章 NLP淺層遷移學(xué)習(xí) 63

4.1 基于預(yù)訓(xùn)練詞嵌入的半監(jiān)督學(xué)習(xí) 65

4.2 基于高級(jí)表示的半監(jiān)督學(xué)習(xí) 69

4.3 多任務(wù)學(xué)習(xí) 71

4.3.1 問(wèn)題的提出以及淺層神經(jīng)網(wǎng)絡(luò)單任務(wù)基線 72

4.3.2 雙任務(wù)實(shí)驗(yàn) 74

4.4 領(lǐng)域適配 75

小結(jié) 78

第5章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度遷移學(xué)習(xí)實(shí)驗(yàn)的數(shù)據(jù)預(yù)處理 79

5.1 表格分類數(shù)據(jù)的預(yù)處理 81

5.1.1 獲取并檢視表格數(shù)據(jù) 82

5.1.2 預(yù)處理表格數(shù)據(jù) 85

5.1.3 對(duì)預(yù)處理數(shù)據(jù)進(jìn)行數(shù)字編碼 87

5.2 預(yù)處理示例數(shù)據(jù)的事實(shí)核查 87

5.2.1 特殊問(wèn)題考量 88

5.2.2 加載并檢視事實(shí)核查數(shù)據(jù) 88

小結(jié) 89

第6章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的NLP深度遷移學(xué)習(xí) 91

6.1 SIMOn 91

6.1.1 通用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概述 92

6.1.2 表格數(shù)據(jù)建模 93

6.1.3 SIMOn在表格數(shù)據(jù)分類中的應(yīng)用 93

6.2 ELMo 100

6.2.1 ELMo雙向語(yǔ)言建模 101

6.2.2 ELMo在虛假新聞檢測(cè)任務(wù)中的應(yīng)用 102

6.3 ULMFiT 104

6.3.1 以語(yǔ)言模型為目標(biāo)任務(wù)的微調(diào) 104

6.3.2 以分類為目標(biāo)任務(wù)的微調(diào) 105

小結(jié) 105

第三部分 基于Transformer的深度遷移學(xué)習(xí)以及適配策略

第7章 基于Transformer的深度遷移學(xué)習(xí)和GPT 109

7.1 Transformer 110

7.1.1 transformers庫(kù)簡(jiǎn)介與注意力可視化 113

7.1.2 自注意力 115

7.1.3 殘差連接、編碼器-解碼器注意力和位置編碼 117

7.1.4 預(yù)訓(xùn)練的編碼器-解碼器在機(jī)器翻譯任務(wù)中的應(yīng)用 120

7.2 GPT 121

7.2.1 模型結(jié)構(gòu)概述 122

7.2.2 Transformer pipeline及其在文本生成任務(wù)中的應(yīng)用 124

7.2.3 聊天機(jī)器人任務(wù)中的應(yīng)用 126

小結(jié) 128

第8章 基于BERT和mBERT的NLP深度遷移學(xué)習(xí) 129

8.1 BERT 130

8.1.1 BERT模型結(jié)構(gòu) 131

8.1.2 在自動(dòng)問(wèn)答任務(wù)中的應(yīng)用 134

8.1.3 在空白填寫和后續(xù)句預(yù)測(cè)任務(wù)中的應(yīng)用 136

8.2 mBERT的跨語(yǔ)言學(xué)習(xí) 138

8.2.1 JW300數(shù)據(jù)集概述 139

8.2.2 用預(yù)訓(xùn)練分詞器將mBERT遷移到Twi單語(yǔ)言數(shù)據(jù) 139

8.2.3 根據(jù)Twi單語(yǔ)言數(shù)據(jù)從頭訓(xùn)練mBERT模型和分詞器 142

小結(jié) 143

第9章 ULMFiT與知識(shí)蒸餾的適配策略 145

9.1 逐步解凍和差別式微調(diào) 146

9.1.1 預(yù)訓(xùn)練語(yǔ)言模型微調(diào) 147

9.1.2 以分類為目標(biāo)任務(wù)的微調(diào) 149

9.2 知識(shí)蒸餾 151

小結(jié) 156

第 10章 ALBERT、適配器和多任務(wù)適配策略 157

10.1 嵌入因子分解與跨層參數(shù)共享 158

10.2 多任務(wù)微調(diào) 162

10.2.1 GLUE數(shù)據(jù)集 163

10.2.2 GLUE單任務(wù)微調(diào) 164

10.2.3 序列化適配 167

10.3 適配器 169

小結(jié) 171

第 11章 總結(jié) 173

11.1 關(guān)鍵概念概述 174

11.2 其他新興研究趨勢(shì) 179

11.2.1 RoBERTa 180

11.2.2 GPT-3 180

11.2.3 XLNet 182

11.2.4 BigBird 182

11.2.5 Longformer 182

11.2.6 Reformer 183

11.2.7 T5 183

11.2.8 BART 184

11.2.9 XLM 185

11.2.10 TAPAS 185

11.3 NLP遷移學(xué)習(xí)的發(fā)展方向 186

11.4 倫理和環(huán)境因素 187

11.5 最新進(jìn)展 189

11.5.1 Kaggle和Zindi比賽 189

11.5.2 arXiv 190

11.5.3 新聞與社交媒體 190

11.6 寫在最后 191

附錄A Kaggle入門 193

A.1 通過(guò)Kaggle Kernel免費(fèi)使用GPU 193

A.2 競(jìng)賽、討論區(qū)和博客 198

附錄B 深度學(xué)習(xí)的基礎(chǔ)工具簡(jiǎn)介 201

B.1 隨機(jī)梯度下降 202

B.2 TensorFlow 203

B.3 PyTorch 206

B.4 Keras、fast.ai庫(kù)和Hugging Face的transformers庫(kù) 207