《視覺語言交互中的視覺推理研究》的作者牛玉磊博士于2020年在中國人民大學取得博士學會，后前往美國哥倫比亞大學開展博士后研究工作。本書從知識建模和知識推斷兩方面入手，深入研究了視覺語言交互任務中的視覺推理問題。

《視覺語言交互中的視覺推理研究》共五章：
第1章主要介紹了計算機視覺與自然語言處理交叉領域中交互類問題的研究背景，并分別從單輪交互、多輪交互、知識偏差三個角度選取了指稱語理解、視覺對話、視覺問答三個經典任務展開討論。
第2章主要介紹了單輪交互情形的代表性視覺推理任務，即指稱語理解問題，提出了變分背景框架，根據(jù)視覺圖像和指稱語文本的聯(lián)系及視覺物體之間的關系提取語義背景信息，并根據(jù)背景信息對指稱語進行定位。
第3章介紹了多輪交互情形的代表性視覺推理任務，即視覺對話問題，提出了遞歸注意力機制，通過視覺指代消解的思想對圖像、對話和問題之間的聯(lián)系進行建模，優(yōu)化視覺表示。
第4章介紹了知識偏差情形的代表性視覺推理任務，即視覺問答問題，基于因果推理提出了反事實視覺問答框架，在訓練環(huán)境和測試環(huán)境的答案分布不一致情況下，通過因果效應的視角提取并去除語言偏差。
第5章對本書進行了總結，并對未來研究方向進行了展望。

適讀人群 ：研究生、科研人員、從業(yè)者等
◆中國計算機領域具有重要突破或重要創(chuàng)新的博士研究生科研成果
◆2021年度CCF優(yōu)秀博士學位論文獎
◆知識建模和知識推斷兩個方面
◆單輪交互和多輪交互兩個場景
◆去除直接因果效應，克服模型對語言偏差的依賴

視覺語言是計算機視覺與自然語言處理的交叉領域，對機器的感知和認知能力均有較高的要求。隨著深度學習的發(fā)展和計算能力的提高，機器的感知能力得到了顯著提升，于是研究者們開始探索機器的認知能力，尤其是推理能力。本書從知識建模和知識推斷兩方面入手，對視覺語言交互任務中的視覺推理問題進行研究。其中，知識建模指通過模型的構建，從視覺媒介和自然語言中提取視覺與語言知識，并進行特征表示；知識推斷指機器對視覺和語言兩個模態(tài)的知識進行綜合考慮，并進行無偏的推斷與估計。

牛玉磊，美國哥倫比亞大學博士后，2015年和2020年于中國人民大學分別獲得學士與博士學位。研究方向包括計算機視覺、機器學習、因果推理、多模態(tài)學習等，在國際著名學術會議和期刊上發(fā)表論文20余篇。擔任BMVC 2022領域主席，AAAI 2023、IJCAI 2021高級程序委員會委員等學術職務。獲2021年度CCF優(yōu)秀博士學位論文獎、CVPR 2019視覺對話挑戰(zhàn)賽冠軍，被評為NeurIPS 2022、ICLR 2021、ICCV 2021的杰出審稿人。

第1章 引言
1.1 研究背景 1
1.2 研究現(xiàn)狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內容與貢獻 14
1.4 組織結構 17
第2章 單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實現(xiàn) 32
2.4 實驗結果 40
2.4.1 實驗設置 40
2.4.2 指稱語理解實驗結果 44
2.4.3 指稱語生成實驗結果 55
2.5 小結 57
第3章 多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關工作 64
3.3 預備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優(yōu)化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實驗結果 80
3.6.1 實驗設置 80
3.6.2 實現(xiàn)細節(jié) 82
3.6.3 對比方法 82
3.6.4 實驗結果分析 85
3.7 小結 93
第4章 知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關工作 101
4.3 預備知識 104
4.3.1 因果圖 105
4.3.2 反事實表示 105
4.3.3 因果效應 106
4.4 基于簡化因果圖的反事實視覺問答 107
4.4.1 反事實視覺問答框架 108
4.4.2 技術實現(xiàn) 110
4.5 基于完全因果圖的反事實視覺問答 115
4.5.1 反事實視覺問答框架 115
4.5.2 技術實現(xiàn) 116
4.6 實現(xiàn)細節(jié) 119
4.7 實驗結果 120
4.7.1 實驗設置 120
4.7.2 簡化因果圖實驗結果 122
4.7.3 完全因果圖實驗結果 134
4.8 小結 137
第5章 總結與展望
5.1 創(chuàng)新總結 139
5.2 未來工作展望 141
5.2.1 視覺推理任務 142
5.2.2 知識建模 142
5.2.3 知識偏差 143