目錄
第1章 知識(shí)結(jié)構(gòu)化概述 1
1.1 知識(shí)工程 1
1.2 知識(shí)結(jié)構(gòu)化 4
1.3 應(yīng)用場景 8
1.4 國內(nèi)外研究現(xiàn)狀 9
1.4.1 知識(shí)圖譜 10
1.4.2 實(shí)體抽取 14
1.4.3 關(guān)系抽取 15
1.4.4 三元組抽取 16
1.4.5 事件抽取 17
1.5 問題與挑戰(zhàn) 17
1.6 內(nèi)容組織結(jié)構(gòu) 18
參考文獻(xiàn) 20
第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 23
2.1 神經(jīng)網(wǎng)絡(luò)的技術(shù)優(yōu)勢 23
2.2 常用的神經(jīng)網(wǎng)絡(luò)模型組件 24
2.2.1 詞向量 24
2.2.2 注意力機(jī)制 25
2.2.3 卷積神經(jīng)網(wǎng)絡(luò) 26
2.2.4 長短期記憶網(wǎng)絡(luò) 26
2.2.5 門控循環(huán)單元 27
2.2.6 Transformer 網(wǎng)絡(luò) 28
2.2.7 預(yù)訓(xùn)練語言模型 28
2.2.8 條件隨機(jī)場 29
2.3 常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略 30
2.3.1 少樣本學(xué)習(xí)策略 30
2.3.2 生成對抗訓(xùn)練策略 31
2.3.3 對比學(xué)習(xí)策略 32
參考文獻(xiàn) 33
第3章 基于生成對抗訓(xùn)練方法的嵌套實(shí)體抽取框架 35
3.1 問題背景 35
3.2 相關(guān)工作 39
3.3 模型方法 40
3.3.1 預(yù)備知識(shí) 40
3.3.2 框架概述 41
3.3.3 抽取器 41
3.3.4 判別器 44
3.3.5 多任務(wù)訓(xùn)練和預(yù)測 45
3.4 實(shí)驗(yàn)與分析 46
3.4.1 數(shù)據(jù)集介紹 46
3.4.2 實(shí)驗(yàn)設(shè)置 46
3.4.3 總體結(jié)果 47
3.4.4 消融實(shí)驗(yàn) 47
3.4.5 實(shí)體標(biāo)記的影響 49
3.5 本章小結(jié) 49
參考文獻(xiàn) 50
第4章 基于混合多原型的少樣本實(shí)體抽取 52
4.1 問題背景 52
4.2 相關(guān)工作 54
4.2.1 少樣本學(xué)習(xí) 54
4.2.2 少樣本實(shí)體抽取的解決方案 54
4.3 模型方法 55
4.3.1 預(yù)備知識(shí) 55
4.3.2 框架概述 56
4.3.3 序列擴(kuò)充和嵌入 58
4.3.4 混合多原型表示 58
4.3.5 預(yù)測與訓(xùn)練 59
4.4 實(shí)驗(yàn)與分析 59
4.4.1 數(shù)據(jù)集介紹 60
4.4.2 實(shí)驗(yàn)設(shè)置 60
4.4.3 總體結(jié)果 61
4.5 本章小結(jié) 64
參考文獻(xiàn) 64
第5章 基于多粒度交互對比學(xué)習(xí)的多模態(tài)實(shí)體抽取方法 67
5.1 問題背景 67
5.2 相關(guān)工作 69
5.2.1 多模態(tài)命名實(shí)體識(shí)別 69
5.2.2 多模態(tài)任務(wù)中的對比學(xué)習(xí) 71
5.3 模型方法 71
5.3.1 多模態(tài)表示 72
5.3.2 多粒度對比學(xué)習(xí) 73
5.3.3 多粒度交互 76
5.3.4 CRF解碼器與損失函數(shù) 78
5.4 實(shí)驗(yàn)與分析 78
5.4.1 數(shù)據(jù)集介紹 78
5.4.2 實(shí)驗(yàn)設(shè)置 78
5.4.3 總體結(jié)果 79
5.4.4 顯著性測試 79
5.4.5 消融實(shí)驗(yàn) 81
5.4.6 目標(biāo)數(shù)量的影響 81
5.4.7 案例分析 82
5.5 本章小結(jié) 84
參考文獻(xiàn) 85
第6章 基于概率圖模型以及嵌入特征的命名實(shí)體消歧 88
6.1 問題背景 88
6.2 相關(guān)工作 90
6.2.1 命名實(shí)體識(shí)別 90
6.2.2 候選實(shí)體生成 90
6.2.3 候選實(shí)體排序 91
6.2.4本章消歧系統(tǒng)框架 92
6.3 模型方法 92
6.3.1 預(yù)備知識(shí) 92
6.3.2 指稱-實(shí)體圖 95
6.3.3 近似算法 96
6.4 實(shí)驗(yàn)與分析 98
6.4.1 數(shù)據(jù)集介紹 98
6.4.2 實(shí)驗(yàn)設(shè)置 99
6.4.3 總體結(jié)果 99
6.4.4 特征比較實(shí)驗(yàn)及結(jié)果 101
6.5 本章小結(jié) 102
參考文獻(xiàn) 103
第7章 面向含噪數(shù)據(jù)的中文領(lǐng)域關(guān)系抽取 105
7.1 問題背景 105
7.2 相關(guān)工作 108
7.2.1 基于監(jiān)督學(xué)習(xí)的關(guān)系抽取方法 108
7.2.2 基于依存路徑的關(guān)系抽取方法 109
7.2.3 基于遠(yuǎn)程監(jiān)督的關(guān)系抽取方法 109
7.2.4 面向含嗓文本的關(guān)系抽取方法 109
7.3 模型方法 110
7.3.1 預(yù)備知識(shí) 111
7.3.2 嵌入表示 114
7.3.3 卷積和最大池化 115
7.3.4 實(shí)體集成的注意力多實(shí)例學(xué)習(xí)方法 116
7.3.5 Softmax輸出 117
7.4 實(shí)驗(yàn)與分析 118
7.4.1 數(shù)據(jù)集介紹 118
7.4.2 實(shí)驗(yàn)設(shè)置 119
7.4.3 保留評估 120
7.4.4 多實(shí)例學(xué)習(xí)方法對比 121
7.4.5 交叉驗(yàn)證 123
7.4.6 消融實(shí)驗(yàn) 124
7.4.7 人工評估 125
7.5本章小結(jié) 126
參考文獻(xiàn) 127
第8章 基于遠(yuǎn)程監(jiān)督的少樣本關(guān)系抽取方法 130
8.1 問題背景 130
8.2 相關(guān)工作 134
8.2.1 基于遠(yuǎn)程監(jiān)督的關(guān)系抽取方法 134
8.2.2 基于少樣本學(xué)習(xí)的關(guān)系抽取方法 135
8.3 模型方法 136
8.3.1 預(yù)備知識(shí) 136
8.3.2 句子編碼器 137
8.3.3 原型網(wǎng)絡(luò) 141
8.4 實(shí)驗(yàn)與分析 141
8.4.1 數(shù)據(jù)集介紹 142
8.4.2 實(shí)驗(yàn)設(shè)置 142
8.4.3 總體結(jié)果 143
8.4.4 多實(shí)例學(xué)習(xí)方法對比 144
8.4.5 實(shí)例袋向量表示可視化 144
8.5 本章小結(jié) 145
參考文獻(xiàn) 146
第9章 基于遷移排序模型的三元組抽取技術(shù) 149
9.1 問題背景 149
9.2 相關(guān)工作 152
9.2.1 基于實(shí)體關(guān)系聯(lián)合抽取的方法 152
9.2.2 基于實(shí)體抽取的方法 152
9.2.3 基于關(guān)系分類的方法 153
9.3 模型方法 153
9.3.1 模型框架 153
9.3.2 實(shí)體抽M塊 154
9.3.3 三部分標(biāo)注方案 156
9.3.4 多層遷移模型 157
9.3.5 模型的訓(xùn)練和抽取 158
9.4 實(shí)驗(yàn)與分析 161
9.4.1 數(shù)據(jù)集介紹 161
9.4.2 實(shí)驗(yàn)設(shè)置 162
9.4.3 總體結(jié)果 163
9.5 本章小結(jié) 167
參考文獻(xiàn) 167
第10章 融合對抗訓(xùn)練的端到端知識(shí)三元組聯(lián)合抽取 171
10.1 問題背景 171
10.2 相關(guān)工作 173
10.2.1 流水線式方法 173
10.2.2 聯(lián)合學(xué)習(xí)方法 174
10.2.3 對抗訓(xùn)練方法 174
10.3 模型方法 175
10.3.1 標(biāo)注策略 176
10.3.2 表示層 177
10.3.3 雙向長短期記憶網(wǎng)絡(luò)編碼層 178
10.3.4 自注意力層 179
10.3.5 長短期記憶網(wǎng)絡(luò)解碼層 179
10.3.6 Softmax分類層 181
10.3.7 對抗訓(xùn)練 182
10.4 實(shí)驗(yàn)與分析 183
10.4.1 數(shù)據(jù)集介紹 183
10.4.2 實(shí)驗(yàn)設(shè)置 183
10.4.3 總體結(jié)果 184
10.4.4 消融實(shí)驗(yàn) 187
10.4.5 誤差分析 188
10.5 本章小結(jié) 189
參考文獻(xiàn) 190
第11章 基于視圖轉(zhuǎn)移網(wǎng)絡(luò)的少樣本關(guān)系三元組抽取 193
11.1 問題背景 193
11.2 相關(guān)工作 195
11.2.1 基于監(jiān)督學(xué)習(xí)的方法 195
11.2.2 基于少樣本學(xué)習(xí)的方法 195
11.3 模型方法 196
11.3.1 模型框架 196
11.3.2 關(guān)系視圖 197
11.3.3 實(shí)體視圖 198
11.3.4 三元組視圖 199
11.4 驗(yàn)與分析 200
11.4.1 數(shù)據(jù)集介紹 200
11.4.2 實(shí)驗(yàn)設(shè)置 201
11.4.3 總體結(jié)果 202
11.5 本章小結(jié) 205
參考文獻(xiàn) 205
第12章 利用多語言線索進(jìn)行事件檢測的混合注意力網(wǎng)絡(luò) 208
12.1 問題背景 208
12.2 相關(guān)工作 210
12.2.1 基于特征工程的事件檢測方法 210
12.2.2 基于神經(jīng)網(wǎng)絡(luò)的事件檢測方法 210
12.2.3 基于遠(yuǎn)程監(jiān)督的事件檢測方法 211
12.2.4 多語言方法 211
12.3 模型方法 211
12.3.1 多語言表示層 212
12.3.2 注意力層 213
12.3.3 訓(xùn)練與預(yù)測 215
12.4 實(shí)驗(yàn)與分析 216
12.4.1 數(shù)據(jù)集介紹 216
12.4.2 實(shí)驗(yàn)設(shè)置 216
12.4.3 總體結(jié)果 216
12.4.4 多語言的效果驗(yàn)證 219
12.5 本章小結(jié) 220
參考文獻(xiàn) 221
第13章 基于差異性神經(jīng)表示的事件檢測方法 223
13.1 問題背景 223
13.2 相關(guān)工作 225
13.2.1 基于特征的方法 225
13.2.2 基于增強(qiáng)的方法 226
13.2.3 基于神經(jīng)網(wǎng)絡(luò)的方法 226
13.3 模型方法 227
13.3.1 模型框架 227
13.3.2 編碼模塊 228
13.3.3 對比學(xué)習(xí)模塊 229
13.3.4 Mixspan模塊 231
13.3.5 模型訓(xùn)練與預(yù)測 233
13.4 實(shí)驗(yàn)與分析 234
13.4.1 數(shù)據(jù)集介紹 234
13.4.2 實(shí)驗(yàn)設(shè)置 235
13.4.3 總體結(jié)果 236
13.5 本章小結(jié) 241
參考文獻(xiàn) 241
第14章 基于分層策略網(wǎng)絡(luò)的事件抽取方法 244
14.1 問題背景 244
14.2 相關(guān)工作 246
14.2.1 流水線式事件抽取方法 246
14.2.2 聯(lián)合事件抽取方法 246
14.2.3 策略網(wǎng)絡(luò)方法 247
14.3 模型方法 247
14.3.1 事件級策略網(wǎng)絡(luò) 248
14.3.2 論元級策略網(wǎng)絡(luò) 250
14.3.3 分雇訓(xùn)練 252
14.4 實(shí)驗(yàn)與分析 253
14.4.1 數(shù)據(jù)集介紹 253
14.4.2 實(shí)驗(yàn)設(shè)置 254
14.4.3 總體結(jié)果 254
14.4.4 分展框架的效果評估 255
14.4.5 策略網(wǎng)絡(luò)的效果 256
14.5 本章小結(jié) 257
參考文獻(xiàn) 257
第15章 知識(shí)結(jié)構(gòu)化未來展望 259
15.1 總結(jié) 259
15.2 未來展望 262
15.2.1 實(shí)體抽取技術(shù) 262
15.2.2 三元組抽取技術(shù) 264
15.2.3 事件抽取技術(shù) 265
15.3 大語言模型技術(shù) 267
參考文獻(xiàn) 268