本書從基于圖像的視覺感知角度出發(fā)，對面向自動駕駛的交通標(biāo)識視覺感知相關(guān)技術(shù)進(jìn)行系統(tǒng)分析和介紹，主要內(nèi)容包括基于深度學(xué)習(xí)的視覺感知、交通標(biāo)識的視覺識別、雙目視覺與交通標(biāo)識測距、車道線檢測、面向自動駕駛的嵌入式系統(tǒng)、視覺感知在自動駕駛中的應(yīng)用展望等。

基于視覺的自動駕駛汽車環(huán)境感知中的交通標(biāo)識識別，從算法和硬件平臺兩個角度出發(fā)進(jìn)行平臺的設(shè)計與實現(xiàn)

自動駕駛汽車是人類道路交通工具的未來發(fā)展形態(tài)，將對人類社會的各方面產(chǎn)生廣泛而深遠(yuǎn)的影響。自動駕駛汽車具有減少道路交通事故、緩解城市交通擁堵并減少環(huán)境污染等諸多優(yōu)勢。自動駕駛技術(shù)是一個涉及車輛工程、計算機(jī)科學(xué)、人工智能、模式識別和智能控制的多學(xué)科、跨學(xué)科綜合研究領(lǐng)域，是人工智能技術(shù)在汽車領(lǐng)域的關(guān)鍵應(yīng)用。自動駕駛汽車的核心是具有環(huán)境感知、規(guī)劃決策和控制執(zhí)行的移動信息處理平臺，其中環(huán)境感知是自動駕駛汽車獲取外界信息的源頭，占據(jù)著關(guān)鍵的地位。

視覺感知在環(huán)境感知中發(fā)揮著極其重要的作用，是獲取物理世界實時信息的主要方式。以深度學(xué)習(xí)為代表的人工智能技術(shù)在視覺感知上的進(jìn)展推動了各類視覺應(yīng)用性能的提升，逐漸達(dá)到實用的程度。交通標(biāo)識包括道路交通設(shè)置的交通標(biāo)識牌、紅綠燈以及地面的車道線和停止線等交通指示線信息，基于深度學(xué)習(xí)的視覺感知通過對交通標(biāo)識的檢測、識別與測距，能夠完成自動駕駛汽車需要的環(huán)境感知需求。本書對面向自動駕駛的交通標(biāo)識視覺感知相關(guān)技術(shù)進(jìn)行了系統(tǒng)的介紹，梳理了自動駕駛需要實現(xiàn)的系統(tǒng)功能、交通標(biāo)識視覺識別技術(shù)的原理和實現(xiàn)、雙目視覺在交通標(biāo)識測距上的應(yīng)用以及車道線檢測的基本方法和實現(xiàn)參考，最后通過對實現(xiàn)平臺的介紹，可為相關(guān)研究人員在這一領(lǐng)域開展研究提供相關(guān)參考。

全書共分為8章。第1章對自動駕駛的發(fā)展歷史、分級定義與功能分析、硬件平臺及軟件平臺進(jìn)行了詳細(xì)的介紹； 第2章介紹了人工智能的發(fā)展歷程和研究途徑，分析了人工智能技術(shù)，特別是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)在自動駕駛中的應(yīng)用場景； 第3章介紹了基于深度學(xué)習(xí)的視覺感知技術(shù)在圖像分類、目標(biāo)檢測、目標(biāo)跟蹤和圖像分割應(yīng)用上的典型算法； 第4章介紹了如何采用深度學(xué)習(xí)框架、制作數(shù)據(jù)集、修改和設(shè)計神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)交通標(biāo)識的視覺識別； 第5章介紹了雙目視覺定義和原理、交通標(biāo)識測距的流程和方法、試驗結(jié)果與分析； 第6章介紹了基于傳統(tǒng)視覺和深度學(xué)習(xí)的視覺感知，詳細(xì)介紹了實現(xiàn)車道線檢測的不同方法的原理和實現(xiàn)方法，包括實現(xiàn)代碼和具體流程； 第7章介紹了視覺感知處理依賴的嵌入式計算機(jī)系統(tǒng)，包括視覺傳感器、硬件計算平臺和軟件開發(fā)環(huán)境，結(jié)合交通標(biāo)識視覺感知和雙目相機(jī)測距，給出了系統(tǒng)實現(xiàn)框架； 第8章介紹了視覺感知技術(shù)在自動駕駛中的應(yīng)用展望，給出了視覺感知技術(shù)能夠進(jìn)一步推動自動駕駛發(fā)展的研究方向。

在本書的編寫過程中，得到了沈陽工業(yè)大學(xué)多位教師和研究生的幫助和支持，徐佳鋒同學(xué)的研究工作使得車道線檢測部分的內(nèi)容更加完善，陳健、蔣慶齡、吳思男、郭玉婷、楊麗、王守滿、賀繼昌、趙鋆益等同學(xué)做了大量的書稿整理和完善工作。

在本書的編寫過程中，編者參閱了大量的文獻(xiàn)資料，從中得到了許多有益的啟發(fā)和幫助，在此向這些文獻(xiàn)的作者表示衷心的感謝。感謝全國勞動模范、奇瑞汽車股份有限公司汽車工程技術(shù)研發(fā)總院的徐有忠博士為本書作序，他在本書的編寫過程中提供了很多中肯的建議，同時對清華大學(xué)出版社在出版過程中給予的支持表示誠摯感謝。

由于編者水平有限，加之經(jīng)驗不足，本書難免有疏漏之處，懇請各位同行和讀者批評指正。

編者

2023年6月

第1章自動駕駛與計算機(jī)視覺

1.1自動駕駛發(fā)展歷史 

1.2自動駕駛的定義與功能分析 

1.3自動駕駛硬件平臺 

1.4自動駕駛軟件平臺 

1.5計算機(jī)視覺與感知 

1.6視覺感知在自動駕駛中的應(yīng)用 

參考文獻(xiàn) 

第2章人工智能及其在自動駕駛中的應(yīng)用

2.1人工智能基礎(chǔ) 

2.1.1人工智能的發(fā)展歷程 

2.1.2人工智能的研究途徑 

2.1.3人工智能的趨勢與展望 

2.2機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 

2.2.1機(jī)器學(xué)習(xí)的含義與分類 

2.2.2深度學(xué)習(xí)的發(fā)展歷程 

2.2.3深度學(xué)習(xí)與計算機(jī)視覺 

2.2.4深度學(xué)習(xí)與自然語言處理 

2.3強(qiáng)化學(xué)習(xí) 

2.3.1強(qiáng)化學(xué)習(xí)的基本要素 

2.3.2強(qiáng)化學(xué)習(xí)的常用方法 

2.3.3強(qiáng)化學(xué)習(xí)的發(fā)展方向 

2.4深度學(xué)習(xí)在自動駕駛中的應(yīng)用 

2.4.1交通標(biāo)識識別 

2.4.2目標(biāo)感知 

2.4.3車道線檢測 

2.4.4自動泊車 

2.4.5司乘人員狀態(tài)監(jiān)控 

2.5強(qiáng)化學(xué)習(xí)在自動駕駛中的應(yīng)用 

參考文獻(xiàn) 

第3章基于深度學(xué)習(xí)的視覺感知

3.1深度學(xué)習(xí)基礎(chǔ) 

3.2計算機(jī)視覺技術(shù) 

3.3圖像分類典型算法 

3.4目標(biāo)檢測典型算法 

3.4.1兩階段目標(biāo)檢測方法 

3.4.2單階段目標(biāo)檢測方法 

3.5目標(biāo)跟蹤典型算法 

3.6圖像分割典型算法 

3.6.1語義分割算法 

3.6.2實例分割算法 

參考文獻(xiàn) 

第4章交通標(biāo)識的視覺識別

4.1交通標(biāo)識和信號燈檢測 

4.1.1交通標(biāo)識檢測 

4.1.2交通信號燈檢測 

4.2卷積神經(jīng)網(wǎng)絡(luò)與目標(biāo)檢測 

4.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分析 

4.2.2目標(biāo)檢測算法評估指標(biāo) 

4.2.3YOLOv3目標(biāo)檢測模型分析 

4.3數(shù)據(jù)集準(zhǔn)備 

4.3.1開源數(shù)據(jù)集的現(xiàn)狀及使用方法 

4.3.2自制數(shù)據(jù)集的工作流程 

4.4深度學(xué)習(xí)框架及模型使用 

4.4.1主流深度學(xué)習(xí)框架 

4.4.2開源模型使用方法 

4.5交通標(biāo)識與信號燈檢測模型 

4.5.1T�瞃OLO模型設(shè)計要點 

4.5.2輕量化網(wǎng)絡(luò)設(shè)計 

4.5.3TM�瞃OLO網(wǎng)絡(luò) 

4.5.4檢測模型試驗 

參考文獻(xiàn) 

第5章雙目視覺與交通標(biāo)識測距

5.1雙目視覺 

5.1.1雙目視覺定義 

5.1.2雙目視覺面臨的問題 

5.2雙目視覺的應(yīng)用 

5.3雙目測距原理與優(yōu)化 

5.3.1雙目視覺測距原理 

5.3.2雙目視覺測距優(yōu)化 

5.4交通標(biāo)識測距 

5.4.1相機(jī)標(biāo)定及校正映射表計算 

5.4.2圖像預(yù)處理 

5.4.3金字塔模板匹配 

5.4.4坐標(biāo)校正及測距 

5.4.5測距流程 

5.5試驗與結(jié)果分析 

5.5.1雙目視覺傳感器 

5.5.2視覺傳感器參數(shù)計算 

5.5.3車載環(huán)境試驗與分析 

參考文獻(xiàn) 

第6章車道線檢測

6.1車道線檢測 

6.2車道線檢測研究進(jìn)展 

6.2.1傳統(tǒng)視覺檢測方法 

6.2.2深度學(xué)習(xí)檢測方法 

6.3基于傳統(tǒng)視覺的車道線檢測 

6.3.1透視變換 

6.3.2動態(tài)閾值提取車道線 

6.3.3車道線方程擬合 

6.3.4平滑輸出方法 

6.4基于深度學(xué)習(xí)的車道線檢測 

6.4.1語義分割網(wǎng)絡(luò)與車道線檢測 

6.4.2基于DAB�睳et的改進(jìn)模型 

參考文獻(xiàn) 

第7章面向自動駕駛的嵌入式系統(tǒng)

7.1嵌入式系統(tǒng)構(gòu)成 

7.2車載攝像頭 

7.2.1車載攝像頭組成 

7.2.2車載攝像頭性能參數(shù) 

7.3嵌入式硬件計算平臺 

7.3.1各類計算平臺的性能和功耗 

7.3.2不同計算平臺優(yōu)、缺點分析 

7.3.3產(chǎn)業(yè)格局及代表產(chǎn)品 

7.4嵌入式系統(tǒng)軟件環(huán)境 

7.4.1計算平臺中的開發(fā)環(huán)境 

7.4.2Jetson TX2中配置深度學(xué)習(xí)框架 

7.4.3基于TensorRT的模型量化壓縮 

7.5交通標(biāo)識視覺感知系統(tǒng)框架 

7.6交通標(biāo)識視覺感知系統(tǒng)實現(xiàn) 

7.6.1圖像采集與目標(biāo)檢測 

7.6.2基于MobileNetv2的目標(biāo)識別模塊 

7.6.3雙目相機(jī)測距模塊 

參考文獻(xiàn) 

第8章視覺感知在自動駕駛中的應(yīng)用展望

8.1視覺感知與交通標(biāo)識 

8.2視覺感知與內(nèi)容理解 

8.3視覺感知與數(shù)字孿生 

8.4視覺感知與信息獲取 

8.5視覺感知與計算平臺 

8.6環(huán)境感知與信息融合 

參考文獻(xiàn)