前 言
Lifelong Machine Learning,Second Edition
編寫第2版的目的是擴(kuò)展終身學(xué)習(xí)的定義，更新部分章節(jié)的內(nèi)容，并添加一個(gè)新的章節(jié)來介紹深度神經(jīng)網(wǎng)絡(luò)中的持續(xù)學(xué)習(xí)(continual learning in deep neural networks），這部分內(nèi)容在過去的兩三年里一直被積極研究。另外，還重新組織了部分章節(jié)，使得內(nèi)容更有條理。
編寫本書的工作始于我們在2015年第24屆國際人工智能聯(lián)合會議（IJCAI）上關(guān)于終身機(jī)器學(xué)習(xí)(lifelong machine learning）的教程。當(dāng)時(shí)，我們已經(jīng)對終身機(jī)器學(xué)習(xí)這個(gè)主題做了一段時(shí)間的研究，并在ICML、KDD和ACL上發(fā)表了幾篇文章。當(dāng)Morgan ＆ Claypool出版社聯(lián)系我們要出版關(guān)于該主題的圖書時(shí)，我們很興奮。我們堅(jiān)信終身機(jī)器學(xué)習(xí)（或簡稱終身學(xué)習(xí)）對未來的機(jī)器學(xué)習(xí)和人工智能（AI）至關(guān)重要。值得注意的是，終身學(xué)習(xí)有時(shí)在文獻(xiàn)中也被稱為持續(xù)學(xué)習(xí)(continual
learning）或連續(xù)學(xué)習(xí)(continuous learning）。我們對該主題的最初研究興趣源于幾年前在一個(gè)初創(chuàng)公司所做的關(guān)于情感分析（SA）的工作中所積累的廣泛應(yīng)用經(jīng)驗(yàn)。（典型的SA項(xiàng)目始于客戶在社交媒體中對他們自己或競爭對手的產(chǎn)品或服務(wù)發(fā)表的消費(fèi)者意見。）SA系統(tǒng)包含兩個(gè)主要的分析任務(wù)：（1）發(fā)現(xiàn)人們在評論文檔（如在線評論）中談到的實(shí)體（例如，iPhone）和實(shí)體屬性/特征（例如，電池壽命）；（2）確定關(guān)于每個(gè)實(shí)體或?qū)嶓w屬性的評論是正面的、負(fù)面的或中立的［Liu,2012,2015］。例如，從iPhone真的很酷，但它的電池壽命很糟糕這句話中，SA系統(tǒng)應(yīng)該發(fā)現(xiàn)：（1）作者對iPhone的評論是正面的；（2）作者對iPhone的電池續(xù)航時(shí)間的評論是負(fù)面的。
在參與許多領(lǐng)域（產(chǎn)品或服務(wù)的類型）的許多項(xiàng)目之后，我們意識到跨領(lǐng)域和跨項(xiàng)目之間存在著大量可共享的信息。隨著我們經(jīng)歷的項(xiàng)目越來越多，遇到的新事物卻越來越少。很容易看出，情感詞和短語（如好的、壞的、差的、糟糕的和昂貴的）是跨領(lǐng)域共享的，大量的實(shí)體和屬性也是共享的。例如，每個(gè)產(chǎn)品都有價(jià)格屬性，大量電子產(chǎn)品有電池，大多數(shù)還有屏幕。如果不使用這些可共享的信息來大幅度提高SA的準(zhǔn)確度，而是單獨(dú)處理每個(gè)項(xiàng)目及其數(shù)據(jù)，是比較愚蠢的做法。經(jīng)典的機(jī)器學(xué)習(xí)范式完全孤立地學(xué)習(xí)。在這種范式下，給定一個(gè)數(shù)據(jù)集，學(xué)習(xí)算法在這個(gè)數(shù)據(jù)集上運(yùn)行并生成模型，算法沒有記憶，因此無法使用先前學(xué)習(xí)的知識。為了利用知識共享，SA系統(tǒng)必須保留和積累過去學(xué)到的知識，并將其用于未來的學(xué)習(xí)和問題的解決，這正是終身學(xué)習(xí)(lifelong
learning）的目標(biāo)。
不難想象，這種跨領(lǐng)域和跨任務(wù)的信息或知識共享在每個(gè)領(lǐng)域都是正確的。在自然語言處理中尤為明顯，因?yàn)閱卧~和短語的含義在不同領(lǐng)域和任務(wù)之間基本相同，句子語法也是如此。無論我們談?wù)撌裁粗黝}，都使用相同的語言，盡管每個(gè)主題可能只使用一種語言中的一小部分單詞和短語。如果情況并非如此，那么人類也不會形成自然語言。因此，終身學(xué)習(xí)可以廣泛應(yīng)用，而不僅僅局限于情感分析。
本書的目的是提出這種新興的機(jī)器學(xué)習(xí)范式，并對該領(lǐng)域的重要研究成果和新想法進(jìn)行全面的回顧。我們還想為該研究領(lǐng)域提出一個(gè)統(tǒng)一的框架。目前，機(jī)器學(xué)習(xí)中有幾個(gè)與終身學(xué)習(xí)密切相關(guān)的研究課題，特別值得注意的是多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)，因?yàn)樗鼈円膊捎昧酥R共享和知識遷移的思想。本書將集中介紹這些主題，并討論它們之間的相同和差異。我們將終身學(xué)習(xí)視為這些相關(guān)范式的擴(kuò)展。通過本書，我們還想激勵(lì)研究人員開展終身學(xué)習(xí)的研究。我們相信終身學(xué)習(xí)代表了未來幾年機(jī)器學(xué)習(xí)和人工智能的主要研究方向。如果不能保留和積累過去學(xué)到的知識，對知識進(jìn)行推理，并利用已學(xué)到的知識幫助未來的學(xué)習(xí)和解決問題，那么實(shí)現(xiàn)通用人工智能（Artificial General Intelligence, AGI）是不可能的。
編寫本書遵循了兩個(gè)主要指導(dǎo)原則。首先，它應(yīng)該包含開展終身學(xué)習(xí)研究的強(qiáng)大動機(jī)，以便鼓勵(lì)研究生和研究人員致力于研究終身學(xué)習(xí)的問題。其次，它的內(nèi)容對于具有機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘基礎(chǔ)知識的從業(yè)者和高年級本科生應(yīng)該是易于理解的。但是，對于計(jì)劃攻讀機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域博士學(xué)位的研究生來說，應(yīng)該學(xué)習(xí)更加詳盡的資料。
因此，本書適用于對機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語言處理或模式識別感興趣的學(xué)生、研究人員和從業(yè)人員。
陳志源和劉兵
2018年8月
譯者序
前 言
致 謝
第1章 引言1
1.1 傳統(tǒng)機(jī)器學(xué)習(xí)范式1
1.2 案例3
1.3 終身學(xué)習(xí)簡史7
1.4 終身學(xué)習(xí)的定義9
1.5 知識類型和關(guān)鍵挑戰(zhàn)14
1.6 評估方法和大數(shù)據(jù)的角色17
1.7 本書大綱18
第2章 相關(guān)學(xué)習(xí)范式20
2.1 遷移學(xué)習(xí)20
2.1.1 結(jié)構(gòu)對應(yīng)學(xué)習(xí)21
2.1.2 樸素貝葉斯遷移分類器22
2.1.3 遷移學(xué)習(xí)中的深度學(xué)習(xí)23
2.1.4 遷移學(xué)習(xí)與終身學(xué)習(xí)的區(qū)別24
2.2 多任務(wù)學(xué)習(xí)25
2.2.1 多任務(wù)學(xué)習(xí)中的任務(wù)相關(guān)性25
2.2.2 GO-MTL：使用潛在基礎(chǔ)任務(wù)的多任務(wù)學(xué)習(xí)26
2.2.3 多任務(wù)學(xué)習(xí)中的深度學(xué)習(xí)28
2.2.4 多任務(wù)學(xué)習(xí)與終身學(xué)習(xí)的區(qū)別30
2.3 在線學(xué)習(xí)30
2.4 強(qiáng)化學(xué)習(xí)31
2.5 元學(xué)習(xí)32
2.6 小結(jié)34
第3章 終身監(jiān)督學(xué)習(xí)35
3.1 定義和概述36
3.2 基于記憶的終身學(xué)習(xí)37
3.2.1 兩個(gè)基于記憶的學(xué)習(xí)方法37
3.2.2 終身學(xué)習(xí)的新表達(dá)37
3.3 終身神經(jīng)網(wǎng)絡(luò)39
3.3.1 MTL網(wǎng)絡(luò)39
3.3.2 終身EBNN40
3.4 ELLA：高效終身學(xué)習(xí)算法41
3.4.1 問題設(shè)定41
3.4.2 目標(biāo)函數(shù)42
3.4.3 解決第一個(gè)低效問題43
3.4.4 解決第二個(gè)低效問題45
3.4.5 主動的任務(wù)選擇46
3.5 終身樸素貝葉斯分類47
3.5.1 樸素貝葉斯文本分類47
3.5.2 LSC的基本思想49
3.5.3 LSC技術(shù)50
3.5.4 討論52
3.6 基于元學(xué)習(xí)的領(lǐng)域詞嵌入52
3.7 小結(jié)和評估數(shù)據(jù)集54
第4章 持續(xù)學(xué)習(xí)與災(zāi)難性遺忘56
4.1 災(zāi)難性遺忘56
4.2 神經(jīng)網(wǎng)絡(luò)中的持續(xù)學(xué)習(xí)58
4.3 無遺忘學(xué)習(xí)61
4.4 漸進(jìn)式神經(jīng)網(wǎng)絡(luò)62
4.5 彈性權(quán)重合并63
4.6 iCaRL：增量分類器與表示學(xué)習(xí)65
4.6.1 增量訓(xùn)練66
4.6.2 更新特征表示67
4.6.3 為新類構(gòu)建范例集68
4.6.4 在iCaRL中完成分類68
4.7 專家網(wǎng)關(guān)69
4.7.1 自動編碼網(wǎng)關(guān)69
4.7.2 測量訓(xùn)練的任務(wù)相關(guān)性70
4.7.3 為測試選擇最相關(guān)的專家71
4.7.4 基于編碼器的終身學(xué)習(xí)71
4.8 生成式重放的持續(xù)學(xué)習(xí)72
4.8.1 生成式對抗網(wǎng)絡(luò)72
4.8.2 生成式重放73
4.9 評估災(zāi)難性遺忘74
4.10 小結(jié)和評估數(shù)據(jù)集75
第5章 開放式學(xué)習(xí)79
5.1 問題定義和應(yīng)用80
5.2 基于中心的相似空間學(xué)習(xí)81
5.2.1 逐步更新CBS學(xué)習(xí)模型82
5.2.2 測試CBS學(xué)習(xí)模型84
5.2.3 用于未知類檢測的CBS學(xué)習(xí)84
5.3 DOC：深度開放式分類87
5.3.1 前饋層和一對其余層87
5.3.2 降低開放空間風(fēng)險(xiǎn)89
5.3.3 DOC用于圖像分類90
5.3.4 發(fā)現(xiàn)未知類90
5.4 小結(jié)和評估數(shù)據(jù)集91
第6章 終身主題建模93
6.1 終身主題建模的主要思想93
6.2 LTM：終身主題模型97
6.2.1 LTM模型97
6.2.2 主題知識挖掘99
6.2.3 融合過去的知識100
6.2.4 Gibbs采樣器的條件分布102
6.3 AMC：少量數(shù)據(jù)的終身主題模型102
6.3.1 AMC整體算法103
6.3.2 挖掘must-link知識104
6.3.3 挖掘cannot-link知識107
6.3.4 擴(kuò)展的Pólya甕模型108
6.3.5 Gibbs采樣器的采樣分布110
6.4 小結(jié)和評估數(shù)據(jù)集112
第7章 終身信息提取114
7.1 NELL：永不停止語言學(xué)習(xí)器114
7.1.1 NELL結(jié)構(gòu)117
7.1.2 NELL中的提取器與學(xué)習(xí)118
7.1.3 NELL中的耦合約束120
7.2 終身評價(jià)目標(biāo)提取121
7.2.1 基于推薦的終身學(xué)習(xí)122
7.2.2 AER算法123
7.2.3 知識學(xué)習(xí)124
7.2.4 使用過去知識推薦125
7.3 在工作中學(xué)習(xí)126
7.3.1 條件隨機(jī)場127
7.3.2 一般依賴特征128
7.3.3 L-CRF算法130
7.4 Lifelong-RL：終身松弛標(biāo)記法131
7.4.1 松弛標(biāo)記法132
7.4.2 終身松弛標(biāo)記法133
7.5 小結(jié)和評估數(shù)據(jù)集133
第8章 聊天機(jī)器人的持續(xù)知識學(xué)習(xí)135
8.1 LiLi：終身交互學(xué)習(xí)與推理136
8.2 LiLi的基本思想139
8.3 LiLi的組件141
8.4 運(yùn)行示例142
8.5 小結(jié)和評估數(shù)據(jù)集142
第9章 終身強(qiáng)化學(xué)習(xí)144
9.1 基于多環(huán)境的終身強(qiáng)化學(xué)習(xí)146
9.2 層次貝葉斯終身強(qiáng)化學(xué)習(xí)147
9.2.1 動機(jī)147
9.2.2 層次貝葉斯方法148
9.2.3 MTRL算法149
9.2.4 更新層次模型參數(shù)150
9.2.5 對MDP進(jìn)行采樣151
9.3 PG-ELLA：終身策略梯度強(qiáng)化學(xué)習(xí)152
9.3.1 策略梯度強(qiáng)化學(xué)習(xí)152
9.3.2 策略梯度終身學(xué)習(xí)設(shè)置154
9.3.3 目標(biāo)函數(shù)和優(yōu)化154
9.3.4 終身學(xué)習(xí)的安全策略搜索156
9.3.5 跨領(lǐng)域終身強(qiáng)化學(xué)習(xí)156
9.4 小結(jié)和評估數(shù)據(jù)集157
第10章 結(jié)論及未來方向159
參考文獻(xiàn)164
書單推薦
