本書介紹自然語言處理的一個應用機器翻譯及相關知識。全書分為三部分。部分包含第1～4章，簡要介紹機器翻譯中的問題、機器翻譯技術的實際應用及歷史，討論一直困擾機器翻譯領域的譯文質(zhì)量評價問題。第二部分包含第5～9章，解釋神經(jīng)網(wǎng)絡、基本機器翻譯模型的設計，以及訓練和解碼的核心算法。第三部分包含第10～17章，既涵蓋構(gòu)建新模型的關鍵內(nèi)容，也涉及開放性的挑戰(zhàn)問題和一些未解決問題的前沿研究。本書主要面向?qū)W習自然語言處理或機器翻譯相關課程的本科生和研究生，以及相關研究領域的研究人員。
深度學習正在徹底改變當今機器翻譯系統(tǒng)的構(gòu)建方式。本書從歷史、語言和應用背景等方面介紹了機器翻譯和評價所面臨的挑戰(zhàn)，講述了自然語言應用中常用的深度學習核心方法。此外，本書還包含使用Python撰寫的代碼示例，為讀者理解和實現(xiàn)自己的機器翻譯系統(tǒng)提供了一個實踐藍本。本書內(nèi)容廣泛，涵蓋了機器學習技巧、處理各種形式的數(shù)據(jù)所涉及的問題、模型增強，以及分析和可視化面臨的挑戰(zhàn)和方法等內(nèi)容。
本書是對機器翻譯應用當前研究的一個總結(jié)，可作為相關專業(yè)本科生和研究生的教材，也可以作為那些對神經(jīng)方法在人類語言處理更廣泛領域中的應用感興趣的研究人員和開發(fā)人員的參考書。
【配套代碼及課程網(wǎng)站】獲取方式：
1、微信關注華章計算機
2、在后臺回復關鍵詞：神經(jīng)機器翻譯
作者寄語
Neural Machine Translation
It is an honor to see my second book on machine translation become available in Chinese. I would like to thank the translators Jiajun Zhang, Yang Zhao and Chengqing Zong to make this possible.
This book arrives at an exciting time for machine translation research in China. While data-driven methods have put a special emphasis on Chinese for two decades, this work has been taken on increasingly by researchers in China, both in academic institutions and the emerging artificial intelligence companies. I am looking forward to their continued contribution to the research field and I hope that the translation of this book may contribute to stimulate broad interest in this topic.
Success of machine translation models in the real world is measured by how useful it is for people to access information and communicate across language barriers. It is my ultimate hope that machine translation can play a role in improving understanding of people across the world, regardless of their native language. Enabling open exchange of ideas is essential not only for scientific research but also to the realization that all of humanity needs to work together to reach the common goal of life, liberty, and pursuit of happiness in harmony with nature.
很高興看到我的第二本關于機器翻譯的作品的中文版問世。感謝三位譯者張家俊、趙陽和宗成慶為此所做的一切。
本書的出版恰逢中國機器翻譯研究迅猛發(fā)展之時。在過去的二十年里，數(shù)據(jù)驅(qū)動方法對中文給予了特別的重視，無論是在學術研究機構(gòu)內(nèi)，還是在新興的人工智能公司中，中國的研究人員都做了大量工作。我期待著他們繼續(xù)為這一研究領域做出貢獻，我也希望本書能夠激發(fā)人們對這一主題的廣泛興趣。
機器翻譯模型在現(xiàn)實世界中成功與否取決于它在獲取信息、跨越語言障礙進行交流方面的實用性。我終希望機器翻譯能夠讓世界各地的人們增進理解，不管他們的母語是什么。開放的思想交流不僅對于科學研究至關重要，而且對于全人類共同努力以實現(xiàn)自由生活，追求與自然和諧相處的幸福這一共同目標同樣重要。
譯者序
Neural Machine Translation
本書作者菲利普·科恩（Philipp Koehn）于2010年出版了Statistical Machine Translation（劍橋大學出版社出版），該書成為國際統(tǒng)計機器翻譯領域頗具影響力的權威之作。宗成慶研究員牽頭翻譯了該著作并于2012年在國內(nèi)出版（即《統(tǒng)計機器翻譯》），為國內(nèi)統(tǒng)計機器翻譯技術研究和學習提供了一部重要的中文參考文獻。就在該書中文版出版一年左右時，神經(jīng)機器翻譯方法被提出，并得到了飛速發(fā)展，端到端的神經(jīng)翻譯模型不僅成為該領域的主流范式，而且?guī)缀跏撬凶匀徽Z言處理任務，甚至是眾多視頻和圖像處理任務的范式。正是在這種神經(jīng)模型盛行的大時代背景下，2020年菲利普·科恩出版了Neural Machine Translation（《神經(jīng)機器翻譯》）。這部教材不僅是對《統(tǒng)計機器翻譯》的擴充和延伸，也是對神經(jīng)網(wǎng)絡、深度學習及其應用技術的普及和推廣。
機械工業(yè)出版社劉鋒編輯慧眼識珠，以職業(yè)編輯敏銳的視角選擇了這部優(yōu)秀著作，并聯(lián)系我們商討翻譯事宜�；谥胺g《統(tǒng)計機器翻譯》的經(jīng)驗和多年來與菲利普保持的友好關系，而且機器翻譯本身就是我們團隊研究的主要方向之一，我們毫不猶豫地接受了這項翻譯任務。2020年秋天我們開始了全書的翻譯工作，經(jīng)過幾輪修改和校對，2021年夏季翻譯完成，前后用了近一年時間。
本書前9章主要由趙陽博士翻譯，后8章主要由張家俊研究員翻譯，宗成慶研究員對全書進行統(tǒng)稿，并對照原文進行了逐詞逐句的審校。中國科學院自動化研究所自然語言處理研究組的部分研究生為本書的翻譯和初校給予了相應的幫助，他們是金飛虎、陸金梁、王遷、閆璟輝、田科、王晨、伍凌輝、張志揚、王世寧、何灝、賀楚祎、孫靜遠、韓旭和盧宇。如果沒有他們的幫助，本書的出版必然要晚一些，在此謹向他們表示衷心的感謝！
在深度學習時代，機器翻譯技術得到了突破性的發(fā)展，翻譯質(zhì)量大幅提升。作為從事機器翻譯技術研究多年的學者，我們也曾設想是否可以利用當前好的機器翻譯系統(tǒng)協(xié)助我們完成本書的翻譯工作，但遺憾的是，面對學術著作出版這類嚴肅的翻譯任務，目前尚沒有一個機器翻譯系統(tǒng)能夠勝任，機器譯文中大量存在的術語翻譯不當、前后翻譯不一致、錯翻和漏翻等問題讓我們不得不放棄這種投機幻想。當然，作為機器翻譯研究者，我們也深知沒有一個公開的商業(yè)化機器翻譯系統(tǒng)是針對某個特定的技術領域開發(fā)的，否則出版社就沒必要找我們合作了。
受譯者的能力和水平所限，譯文中難免會有諸多欠缺和疏漏。為此，我們懇請讀者對任何不妥之處給予批評指正，提出寶貴的修改意見或建議！
當本書作者菲利普·科恩教授得知我們正在將他這本著作翻譯成中文版時非常高興，欣然為中文版讀者撰寫了寄語。在此，我們向科恩教授表示衷心的感謝！
譯者
2021年7月
前 言
Neural Machine Translation
在Statistical Machine Translation出版十年后，機器翻譯技術發(fā)生了翻天覆地的變化。與人工智能中的其他領域一樣，深度神經(jīng)網(wǎng)絡已經(jīng)成為主流范式，在提高翻譯質(zhì)量的同時也帶來了新的挑戰(zhàn)。
你手里拿著的這本書于幾年前開始撰寫，并準備作為我之前那本教科書第二版的一章，但是新的技術發(fā)展得如此迅速，以前的統(tǒng)計翻譯方法目前已經(jīng)很少使用，以至于原先準備的一章內(nèi)容發(fā)展成了一本書。除了關于機器翻譯評價的章節(jié)，這兩本書之間幾乎沒有重疊。對于對機器翻譯感興趣的新讀者來說，這是個好消息。我們都是在幾年前才重新開始了解該領域的，所以你們也并不落后。
雖然機器翻譯是自然語言處理的一個具體應用，而且本書僅限于這種應用，但這里介紹的概念仍然是解決許多其他語言問題的關鍵基礎。文本分類、情感分析、信息抽取、文本摘要、自動問答與對話系統(tǒng)等應用任務都采用了相似的模型和方法，因此本書介紹的技術適用于更加廣泛的領域，甚至其他類型的任務，如語音識別、游戲、計算機視覺乃至自動駕駛汽車，都建立在同樣的原理之上。
這本書能夠出版，得益于許多人的建議和反饋。我要特別感謝約翰斯·霍普金斯大學研究實驗室以及語言和語音處理中心的同事Kevin Duh、Matt Post、Ben Van Durme、Jason Eisner、David Yarowsky、Sanjeev Khudanpur、Najim Dehak、Dan Povey、Raman Arora、Mark Dredze、Paul McNamee、Hynek Hermansky、Tom Lippincott、Shinji Watanabe，以及我的博士生Rebecca Knowles、Adi Renduchitala、Gaurav Kumar、Shuoyang Ding、Huda Khayrallah、Brian Thompson、Becky Marvin、Kelly Marchisio和Xutai Ma。還要感謝我之前工作過的愛丁堡大學，那里的Barry Haddow、Lexi Birch、Rico Sennrich和Ken Heafield是神經(jīng)機器翻譯領域的先驅(qū)。我與許多研究人員進行了卓有成效的討論，這拓寬了我的視野，雖然無法將他們一一列出，但我要明確感謝Holger Schwenk、Marcin Junczys-Dowmunt、Chris Dyer、Graham Neubig、Alexander Fraser、Marine Carpuat、Lucia Specia、Jon May、George Foster和Collin Cherry。這本書也得益于我在機器翻譯技術的實際部署上的經(jīng)驗。我曾與Meta合作，為上百種語言開發(fā)了機器翻譯技術，我要感謝Paco Guzmán、Vishrav Chaudhary、Juan Pino、Ahmed Kishky、Benxing Wu、Javad Dousti、Yuqing Tang、Don Husa、Denise Diaz、Qing Sun、Hongyu Gong、Shuohui、Ves Stoyanov、Xian Li、James Cross、Liezl Puzon、Dmitriy Genzel、Fazil Ayan、Myle Ott、Michael Auli和Franz Och。在與Dion Wiggins和Gregory Binger領導的Omniscien Technology的長期合作中，我了解了商業(yè)機器翻譯市場的變化趨勢。我從Achim Ruopp、Kelly Marchisio、Kevin Duh、Mojtaba Sabbagh-Jafari、Parya Razmdide、Kyunghyun Cho、Chris Dyer和Rico Sennrich那里獲得了對本書初稿的寶貴反饋意見。
作者簡介：
菲利普科恩(Philipp Koehn)是約翰斯霍普金斯大學計算機科學系的教授。他是機器翻譯領域的領軍人物，于2010年出版了教材Statistical Machine Translation（劍橋大學出版社出版，中文版為《統(tǒng)計機器翻譯》）。他曾獲國際機器翻譯協(xié)會頒發(fā)的榮譽獎，是2013年歐洲專利局歐洲發(fā)明家獎的終三名入圍者之一。他還活躍在科技產(chǎn)業(yè)界，是Omniscien Technology公司的首席科學家、Meta公司的顧問。
譯者簡介：
張家俊，中國科學院自動化研究所研究員、博士生導師，主要研究方向為機器翻譯和自然語言處理，曾獲得國家優(yōu)秀青年科學基金資助，入選中國科協(xié)首屆青年人才托舉工程和北京智源青年科學家。發(fā)表CCF-A/B類論文70余篇，出版學術專著2部，6次獲得/優(yōu)秀論文獎，3次被評為IJCAI、ACL和NAACL的杰出SPC和審稿人。曾獲得中國中文信息學會錢偉長中文信息處理科學技術獎一等獎、青年創(chuàng)新獎一等獎和北京市科學技術獎一等獎等，曾擔任中國中文信息學會機器翻譯專委會副主任、青年工作委員會副主任，多次擔任ACL/EMNLP/COLING的(資深)領域主席。
趙陽，博士，中國科學院自動化研究所助理研究員。2019年畢業(yè)于中國科學院自動化研究所模式識別國家重點實驗室，獲博士學位。畢業(yè)后留所工作，研究方向為自然語言處理與機器翻譯，在國內(nèi)外相關學術會議（AAAI、IJCAI、EMNLP、COLING等）和著名期刊（TASLP、AI、TALLIP等）上發(fā)表20余篇論文。擔任國際權威期刊（TASLP等）的審稿人，多次擔任國際學術會議（ACL、COLING、IJCAI、AAAI）的程序委員會委員，擔任COLING-20的出版主席。作為負責人和參與人員，主持和參與國家自然基金、科技部重點研發(fā)計劃和中國科學院先導計劃等多項國家項目。
宗成慶，中國科學院自動化研究所研究員、博士生導師，中國科學院大學崗位教授（A類），中國人工智能學會會士和中國計算機學會會士。主要從事自然語言處理、機器翻譯和語言認知計算等研究，主持國家項目10余項，發(fā)表論文200余篇，出版《統(tǒng)計自然語言處理》等專著三部和譯著一部，是國際計算語言學委員會（ICCL）委員、亞洲自然語言處理學會（AFNLP）主席和中國中文信息學會副理事長。曾任國際一流學術會議ACL 2015程序委員會主席和ACL 2021大會主席。曾榮獲國家科技進步獎二等獎和北京市科學技術獎一等獎等，曾獲北京市優(yōu)秀教師、中國科學院優(yōu)秀導師和寶鋼優(yōu)秀教師獎等若干榮譽，享受國務院特殊津貼。
作者寄語
譯者序
前言
閱讀指南
部分 緒論
第1章 翻譯問題 2
1.1 翻譯的目標 2
1.2 歧義性 4
1.2.1 詞匯翻譯問題 4
1.2.2 短語翻譯問題 4
1.2.3 句法翻譯問題 5
1.2.4 語義翻譯問題 5
1.3 語言學觀點 6
1.4 數(shù)據(jù)視角 9
1.4.1 忠實度 9
1.4.2 流暢度 10
1.4.3 齊普夫定律 11
1.5 實際問題 13
1.5.1 公開的數(shù)據(jù) 13
1.5.2 評測活動 13
1.5.3 工具集 14
第2章 機器翻譯的應用 15
2.1 信息獲取 15
2.2 人工輔助翻譯 16
2.3 交流 18
2.4 自然語言處理的管道式系統(tǒng) 21
2.5 多模態(tài)機器翻譯 21
第3章 歷史回顧 23
3.1 神經(jīng)網(wǎng)絡 24
3.1.1 生物學啟發(fā) 24
3.1.2 感知器學習 25
3.1.3 多層網(wǎng)絡 25
3.1.4 深度學習 26
3.2 機器翻譯 27
3.2.1 密碼破譯 27
3.2.2 ALPAC報告與后續(xù)影響 27
3.2.3 首個商用系統(tǒng) 28
3.2.4 基于中間語言的翻譯系統(tǒng) 28
3.2.5 數(shù)據(jù)驅(qū)動的方法 28
3.2.6 開源的研發(fā)環(huán)境 29
3.2.7 深入用戶 30
3.2.8 神經(jīng)翻譯的興起 30
第4章 評價方法 32
4.1 基于任務的評價 32
4.1.1 真實世界的任務 33
4.1.2 內(nèi)容理解 33
4.1.3 譯員翻譯效率 34
4.2 人工評價 35
4.2.1 忠實度和流暢度 35
4.2.2 排序 37
4.2.3 連續(xù)分數(shù) 38
4.2.4 眾包評價 40
4.2.5 人工譯文編輯率 41
4.3 自動評價指標 41
4.3.1 BLEU 42
4.3.2 同義詞和形態(tài)變體 43
4.3.3 TER 44
4.3.4 characTER 45
4.3.5 自舉重采樣 45
4.4 指標研究 47
4.4.1 關于評價的爭論 47
4.4.2 對評價指標的評價 48
4.4.3 自動評價指標缺點的相關證據(jù) 49
4.4.4 新的評價指標 50
第二部分 基礎
第5章 神經(jīng)網(wǎng)絡 54
5.1 線性模型 54
5.2 多層網(wǎng)絡 55
5.3 非線性模型 56
5.4 推斷 57
5.5 反向傳播訓練 59
5.5.1 輸出節(jié)點權重 60
5.5.2 隱藏層節(jié)點權重 61
5.5.3 公式總結(jié) 63
5.5.4 權重更新示例 63
5.5.5 驗證集 64
5.6 探索并行處理 65
5.6.1 向量和矩陣運算 65
5.6.2 小批量訓練 65
5.7 動手實踐：使用Python實現(xiàn)神經(jīng)網(wǎng)絡 66
5.7.1 Numpy庫中的數(shù)據(jù)結(jié)構(gòu)和函數(shù) 66
5.7.2 前向計算 67
5.7.3 反向計算 67
5.7.4 鏈式法則的重復使用 68
5.8 擴展閱讀 71
第6章 計算圖 72
6.1 用計算圖描述神經(jīng)網(wǎng)絡 72
6.2 梯度計算 73
6.3 動手實踐：深度學習框架 77
6.3.1 利用PyTorch實現(xiàn)前向和反向計算 77
6.3.2 循環(huán)訓練 79
6.3.3 批訓練 80
6.3.4 優(yōu)化器 81
第7章 神經(jīng)語言模型 83
7.1 前饋神經(jīng)語言模型 83
7.1.1 表征單詞 84
7.1.2 神經(jīng)網(wǎng)絡架構(gòu) 85
7.1.3 訓練 86
7.2 詞嵌入 86
7.3 噪聲對比估計 88
7.4 循環(huán)神經(jīng)語言模型 89
7.5 長短時記憶模型 91
7.6 門控循環(huán)單元 93
7.7 深度模型 94
7.8 動手實踐：PyTorch中的神經(jīng)語言模型 96
7.8.1 循環(huán)神經(jīng)網(wǎng)絡 96
7.8.2 文本處理 97
7.8.3 循環(huán)訓練 98
7.8.4 建議 99
7.9 擴展閱讀 100
第8章 神經(jīng)翻譯模型 101
8.1 編碼器解碼器方法 101
8.2 添加對齊模型 102
8.2.1 編碼器 102
8.2.2 解碼器 103
8.2.3 注意力機制 104
8.3 訓練 106
8.4 深度模型 108
8.4.1 解碼器 108
8.4.2 編碼器 109
8.5 動手實踐：利用PyTorch實現(xiàn)神經(jīng)翻譯模型 110
8.5.1 編碼器 111
8.5.2 解碼器 111
8.5.3 訓練 113
8.6 擴展閱讀 115
第9章 解碼 116
9.1 柱搜索 116
9.2 集成解碼 119
9.2.1 生成候選系統(tǒng) 120
9.2.2 融合系統(tǒng)輸出 120
9.3 重排序 121
9.3.1 利用從右到左解碼的重排序 121
9.3.2 利用反向模型的重排序 122
9.3.3 增加n-best列表的多樣性 122
9.3.4 評分組件的權重學習 123
9.4 優(yōu)化解碼 126
9.5 約束解碼 127
9.5.1 XML模式 127
9.5.2 網(wǎng)格搜索 127
9.5.3 強制注意力 128
9.5.4 評價 129
9.6 動手實踐：Python中的解碼 129
9.6.1 假設 129
9.6.2 柱空間 129
9.6.3 搜索 131
9.6.4 輸出譯文 132
9.7 擴展閱讀 133
第三部分 提高
第10章 機器學習技巧 138
10.1 機器學習中的問題 138
10.2 確保隨機性 140
10.2.1 打亂訓練數(shù)據(jù) 141
10.2.2 權重初始化 141
10.2.3 標簽平滑 142
10.3 調(diào)整學習率 142
10.3.1 動量項 142
10.3.2 調(diào)整每個參數(shù)的學習率 143
10.3.3 批梯度更新 144
10.4 避免局部 145
10.4.1 正則化 145
10.4.2 課程學習 145
10.4.3 drop-out法 146
10.5 處理梯度消失和梯度爆炸問題 147
10.5.1 梯度裁剪 147
10.5.2 層歸一化 147
10.5.3 捷徑連接和高速連接 148
10.5.4 LSTM和梯度消失 149
10.6 句子級優(yōu)化 150
10.6.1 小風險訓練 150
10.6.2 生成對抗訓練 151
10.7 擴展閱讀 152
第11章 替代架構(gòu) 155
11.1 神經(jīng)網(wǎng)絡組件 155
11.1.1 前饋層 155
11.1.2 因子分解 156
11.1.3 基本的數(shù)學運算 157
11.1.4 循環(huán)神經(jīng)網(wǎng)絡 158
11.1.5 卷積神經(jīng)網(wǎng)絡 159
11.2 注意力模型 160
11.2.1 注意力計算 160
11.2.2 多頭注意力 161
11.2.3 細粒度注意力 162
11.2.4 自注意力 162
11.3 卷積機器翻譯模型 163
11.4 融合注意力機制的卷積神經(jīng)網(wǎng)絡 165
11.4.1 編碼器 165
11.4.2 解碼器 166
11.4.3 注意力 167
11.5 自注意力：Transformer 167
11.5.1 自注意力層 167
11.5.2 解碼器中的注意力 168
11.6 擴展閱讀 171
第12章 重溫單詞 173
12.1 詞嵌入 173
12.1.1 潛在語義分析 174
12.1.2 連續(xù)詞袋模型 175
12.1.3 Skip Gram 176
12.1.4 GloVe 176
12.1.5 ELMo 177
12.1.6 BERT 178
12.2 多語言詞嵌入 178
12.2.1 特定語言詞嵌入之間的映射 179
12.2.2 語言無關的詞嵌入 180
12.2.3 僅使用單語數(shù)據(jù) 180
12.3 大詞匯表 182
12.3.1 低頻詞的特殊處理 182
12.3.2 字節(jié)對編碼算法 183
12.3.3 句子片段化算法 184
12.3.4 期望化訓練 185
12.3.5 子詞正則化 185
12.4 基于字符的模型 186
12.4.1 字符序列模型 186
12.4.2 基于字符的單詞表示模型 186
12.4.3 集成基于字符的模型 188
12.5 擴展閱讀 189
第13章 領域自適應 195
13.1 領域 195
13.1.1 語料庫之間的差異 196
13.1.2 多領域場景 197
13.1.3 領域內(nèi)與領域外 198
13.1.4 自適應效應 198
13.1.5 合理的警告 199
13.2 混合模型 199
13.2.1 數(shù)據(jù)插值 199
13.2.2 模型插值 200
13.2.3 領域感知訓練 201
13.2.4 主題模型 202
13.3 欠采樣 204
13.3.1 Moore-Lewis：語言模型交叉熵 204
13.3.2 基于覆蓋范圍的方法 205
13.3.3 樣本加權 206
13.4 微調(diào) 206
13.4.1 約束更新 207
13.4.2 文檔級自適應 208
13.4.3 句子級自適應 209
13.4.4 課程訓練 210
13.5 擴展閱讀 210
第14章 超越平行語料庫 214
14.1 使用單語數(shù)據(jù) 215
14.1.1 增加語言模型 215
14.1.2 回譯 216
14.1.3 迭代回譯 217
14.1.4 往返訓練 217
14.2 多種語言對 218
14.2.1 多種輸入語言 219
14.2.2 多種輸出語言 219
14.2.3 共享模塊 220
14.3 訓練相關任務 221
14.3.1 預訓練詞嵌入 221
14.3.2 預訓練編碼器和解碼器 221
14.3.3 多任務訓練 222
14.4 擴展閱讀 222
第15章 語言學結(jié)構(gòu) 228
15.1 有指導的對齊訓練 228
15.2 建模覆蓋度 230
15.2.1 在推斷過程中約束覆蓋度 230
15.2.2 覆蓋度模型 231
15.2.3 繁衍率 232
15.2.4 特征工程與機器學習 232
15.3 添加語言學標注 233
15.3.1 輸入句子的語言學標注 233
15.3.2 輸出句子的語言學標注 234
15.3.3 語言學結(jié)構(gòu)化的模型 235
15.4 擴展閱讀 236
第16章 當前挑戰(zhàn) 238
16.1 領域不匹配 238
16.2 訓練數(shù)據(jù)規(guī)模 240
16.3 稀有詞 241
16.4 噪聲數(shù)據(jù) 243
16.4.1 真實世界中的噪聲 243
16.4.2 合成噪聲 245
16.4.3 噪聲對翻譯質(zhì)量的影響 246
16.5 柱搜索 248
16.6 詞對齊 250
16.7 擴展閱讀 251
第17章 分析與可視化 253
17.1 錯誤分析 253
17.1.1 神經(jīng)機器翻譯的典型錯誤 253
17.1.2 語言學錯誤類型 255
17.1.3 真實世界中的研究案例 256
17.1.4 目標測試集 257
17.1.5 合成語言 259
17.2 可視化 259
17.2.1 詞嵌入 260
17.2.2 編碼器狀態(tài)：詞義 261
17.2.3 注意力機制 262
17.2.4 多頭注意力機制 263
17.2.5 語言模型預測中的記憶 264
17.2.6 解碼器狀態(tài) 266
17.2.7 柱搜索 266
17.3 探測向量表示 267
17.3.1 分類器方法 267
17.3.2 實驗發(fā)現(xiàn) 268
17.4 分析神經(jīng)元 269
17.4.1 認知理論 269
17.4.2 個體神經(jīng)元 269
17.4.3 揭示神經(jīng)元 271
17.5 追溯模型決策過程 271
17.5.1 層級間相關性傳遞 271
17.5.2 相關性傳遞在機器翻譯中的應用 273
17.5.3 顯著性計算 274
17.6 擴展閱讀 275
參考文獻 279
書單推薦
