第1章　緒論001
1.1　汽車的智能化002
1.1.1　智能汽車002
1.1.2　智能網(wǎng)聯(lián)汽車002
1.1.3　無人駕駛汽車003
1.2　環(huán)境感知技術(shù)的重要性004
1.3　國內(nèi)外研究現(xiàn)狀006
1.3.1　基于圖像的環(huán)境感知技術(shù)006
1.3.2　基于點云的環(huán)境感知技術(shù)010
1.3.3　基于多傳感器融合的環(huán)境感知技術(shù)012
1.3.4　基于多任務(wù)網(wǎng)絡(luò)的環(huán)境感知技術(shù)013

第2章　智能汽車感知系統(tǒng)及傳感器標定方法015
2.1　感知系統(tǒng)介紹016
2.1.1　感知系統(tǒng)架構(gòu)016
2.1.2　傳感器介紹017
2.2　單目相機標定019
2.2.1　相機成像模型019
2.2.2　相機內(nèi)參標定022
2.3　相機和激光雷達聯(lián)合標定025
2.3.1　相機坐標系和激光雷達坐標系的轉(zhuǎn)換模型025
2.3.2　外參的聯(lián)合標定026
本章小結(jié)031

第3章　基于單目視覺的環(huán)境感知技術(shù)033
3.1　深度學(xué)習(xí)理論及相關(guān)方法介紹034
3.1.1　注意力機制034
3.1.2　注意力機制的計算034
3.1.3　自注意力機制035
3.2　VisionTransformer037
3.3　SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法041
3.3.1　DarkNet53-PAFPN-YOLOX目標檢測算法041
3.3.2　SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法整體結(jié)構(gòu)045
3.3.3　重建可變形自注意力機制046
3.3.4　主干網(wǎng)絡(luò)：SwinDeformableTransformer048
3.3.5　頸部：BiPAFPN051
3.4　實驗與分析053
3.4.1　實驗平臺搭建053
3.4.2　數(shù)據(jù)集053
3.4.3　評價標準053
3.4.4　訓(xùn)練策略055
3.4.5　實驗數(shù)據(jù)統(tǒng)計與分析055
3.5　實車實驗062
3.5.1　實驗設(shè)備介紹062
3.5.2　實時檢測064
本章小結(jié)067

第4章　基于MobileNetv2_CA-YOLOv4的環(huán)境感知技術(shù)069
4.1　MobileNetv2_CA-YOLOv4的輕量化目標檢測算法070
4.1.1　深度可分離卷積070
4.1.2　網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建071
4.1.3　注意力機制及對比074
4.1.4　協(xié)調(diào)注意力機制CoordinateAttention（CA）的嵌入075
4.1.5　構(gòu)造網(wǎng)絡(luò)損失函數(shù)078
4.1.6　馬賽克圖像增強方法079
4.2　MobileNetv2_CA-YOLOv4目標檢測算法的實驗與分析080
4.2.1　實驗平臺080
4.2.2　數(shù)據(jù)集介紹081
4.2.3　模型訓(xùn)練081
4.2.4　評價指標082
4.2.5　實驗結(jié)果分析082
4.2.6　目標檢測結(jié)果對比086
本章小結(jié)089

第5章　基于MCDVformer的多任務(wù)環(huán)境感知技術(shù)091
5.1　多任務(wù)主干MCDVformer介紹092
5.1.1　整體結(jié)構(gòu)092
5.1.2　移位窗口自注意力機制092
5.1.3　重建可變形自注意力機制093
5.1.4　關(guān)鍵點可變形自/交叉注意力機制094
5.1.5　SwinDeformableEncoder-Decoder095
5.1.6　密集殘差連接097
5.2　目標檢測實驗098
5.2.1　數(shù)據(jù)集與評價標準098
5.2.2　訓(xùn)練策略098
5.2.3　定量實驗分析099
5.2.4　定性實驗分析100
5.3　實例分割實驗101
5.3.1　數(shù)據(jù)集、訓(xùn)練策略與評價指標101
5.3.2　定量實驗分析101
5.3.3　定性實驗分析103
5.4　目標分類實驗103
5.4.1　數(shù)據(jù)集以及評價指標103
5.4.2　訓(xùn)練策略104
5.4.3　定量實驗分析104
5.5　語義分割實驗106
5.5.1　數(shù)據(jù)集與評價指標106
5.5.2　訓(xùn)練策略106
5.5.3　定量實驗分析106
5.5.4　定性實驗分析108
5.6　消融實驗109
5.7　實車實驗113
5.7.1　目標檢測實車實驗113
5.7.2　實例分割實車實驗115
5.7.3　語義分割實車實驗117
本章小結(jié)118

第6章　基于點云數(shù)據(jù)增強的環(huán)境感知技術(shù)119
6.1　點云密度和語義增強框架與流程120
6.1.1　點云密度增強121
6.1.2　點云語義增強122
6.2　點云和圖像之間的坐標轉(zhuǎn)換124
6.3　數(shù)據(jù)集和檢測器細節(jié)125
6.4　實驗和結(jié)果分析126
6.4.1　nuScenes數(shù)據(jù)集的評價指標126
6.4.2　nuScenes數(shù)據(jù)集上的實驗結(jié)果127
6.4.3　KITTI數(shù)據(jù)集上的實驗結(jié)果127
6.5　消融實驗128
6.5.1　點云密度增強的有效性驗證129
6.5.2　點云語義增強的有效性驗證131
6.5.3　D-SAugmentation整體性能的有效性驗證132
本章小結(jié)134

第7章　基于兩階段序列融合的環(huán)境感知技術(shù)135
7.1　多模態(tài)傳感器數(shù)據(jù)融合方法及概念136
7.2　兩階段序列融合網(wǎng)絡(luò)137
7.3　最近群組關(guān)聯(lián)的點云語義增強137
7.3.1　點云語義增強模塊138
7.3.2　最近群組關(guān)聯(lián)138
7.4　基于置信度和距離的非極大值抑制141
7.4.1　基于置信度的非極大值抑制141
7.4.2　級聯(lián)距離與置信度的非極大值抑制141
7.5　實驗結(jié)果及分析143
7.5.1　數(shù)據(jù)集介紹143
7.5.2　二維檢測器的配置143
7.5.3　三維檢測器的配置144
7.5.4　融合模塊的配置144
7.5.5　檢測結(jié)果及對比145
7.6　消融實驗146
7.6.1　NGP模塊的有效性146
7.6.2　C-DNMS模塊的有效性147
7.6.3　TSF整體網(wǎng)絡(luò)的有效性149
本章小結(jié)150

第8章　基于多模態(tài)融合的環(huán)境感知技術(shù)151
8.1　多模態(tài)融合環(huán)境感知算法問題描述152
8.2　MFF-Net總體框架153
8.2.1　空間變換投影（STP）154
8.2.2　自適應(yīng)表達增強（AEE）融合155
8.2.3　自適應(yīng)非極大值抑制（A-NMS）算法157
8.3　實驗設(shè)置158
8.3.1　實驗環(huán)境158
8.3.2　網(wǎng)絡(luò)細節(jié)159
8.3.3　KITTI數(shù)據(jù)集評價指標159
8.3.4　網(wǎng)絡(luò)訓(xùn)練參數(shù)159
8.4　實驗結(jié)果和分析160
8.4.1　KITTI測試結(jié)果與分析160
8.4.2　nuScenes測試結(jié)果與分析162
8.5　消融實驗162
8.5.1　定量實驗分析163
8.5.2　定性實驗分析164
本章小結(jié)167

參考文獻168