目錄
序1
前言3
第1章 歡迎來到Transformer的世界11
1.1 編碼器-解碼器框架12
1.2 注意力機制14
1.3 NLP的遷移學習15
1.4 Hugging FaceTransformers庫：提供規(guī)范化接口18
1.5 Transformer應用概覽19
1.6 Hugging Face生態(tài)系統(tǒng)23
1.7 Transformer的主要挑戰(zhàn)27
1.8 本章小結(jié)27
第2章 文本分類29
2.1 數(shù)據(jù)集30
2.2 將文本轉(zhuǎn)換成詞元36
2.3 訓練文本分類器44
2.4 本章小結(jié)60
第3章 Transformer架構剖析62
3.1 Transformer架構62
3.2 編碼器64
3.3 解碼器79
3.4 認識Transformer81
3.5本章小結(jié)87
第4章 多語言命名實體識別88
4.1 數(shù)據(jù)集89
4.2 多語言Transformer93
4.3 多語言詞元化技術94
4.4 命名實體識別中的Transformers96
4.5 自定義Hugging Face Transformers庫模型類98
4.6 NER的詞元化103
4.7 性能度量105
4.8 微調(diào)XLM-RoBERTa106
4.9 錯誤分析108
4.10 跨語言遷移114
4.11 用模型小部件進行交互120
4.12 本章小結(jié)121
第5章 文本生成122
5.1 生成連貫文本的挑戰(zhàn)123
5.2 貪婪搜索解碼125
5.3 束搜索解碼129
5.4 采樣方法132
5.5 top-k和核采樣134
5.6 哪種解碼方法最好136
5.7 本章小結(jié)137
第6章 文本摘要138
6.1 CNN/DailyMail數(shù)據(jù)集138
6.2 文本摘要pipeline139
6.3 比較不同的摘要143
6.4 度量生成文本的質(zhì)量144
6.5 在CNN/DailyMail數(shù)據(jù)集上評估PEGASUS150
6.6 訓練摘要模型152
6.7 本章小結(jié)158
第7章 構建問答系統(tǒng)160
7.1 構建基于評論的問答系統(tǒng)161
7.2 評估并改進問答pipeline183
7.3 生成式問答196
7.4 本章小結(jié)199
第8章 Transformer模型調(diào)優(yōu)201
8.1 以意圖識別為例201
8.2 創(chuàng)建性能基準203
8.3 通過知識蒸餾減小模型大小208
8.4 利用量化技術使模型運算更快220
8.5 基準測試量化模型225
8.6 使用ONNX和ONNX Runtime進行推理優(yōu)化226
8.7 使用權重剪枝使模型更稀疏231
8.8 本章小結(jié)235
第9章 零樣本學習和少樣本學習236
9.1 構建GitHub issue標記任務238
9.2 基線模型樸素貝葉斯245
9.3 零樣本學習248
9.4 少樣本學習256
9.5 利用無標注數(shù)據(jù)272
9.6 本章小結(jié)278
第10章 從零訓練Transformer模型280
10.1 如何尋找大型數(shù)據(jù)集281
10.2 構建詞元分析器290
10.3 從零訓練一個模型301
10.4 結(jié)果與分析315
10.5 本章小結(jié)319
第11章 未來發(fā)展趨勢321
11.1 Transformer的擴展321
11.2 其他應用領域329
11.3 多模態(tài)的Transformer334
11.4 繼續(xù)前行的建議342