自動駕駛汽車即將在人們的生活中得到廣泛應(yīng)用。自動駕駛領(lǐng)域的發(fā)展和進(jìn)步令人嘆為觀止。作者第一次聽說自動駕駛汽車是在2010年，當(dāng)時(shí)作者在東京的豐田展廳試乘過一次，乘車費(fèi)用約為1美元。汽車行駛得很緩慢，這輛車非常明顯地依賴嵌入道路的傳感器。

幾年后，激光雷達(dá)和計(jì)算機(jī)視覺和深度學(xué)習(xí)取得了很大進(jìn)步，使得之前的技術(shù)看起來非常原始，存在對道路不必要的改造，成本高昂。

本書將使用OpenCV完成各種任務(wù)，包括行人識別和車道識別；讀者將會探索深度學(xué)習(xí)并學(xué)習(xí)如何將其用于圖像分類、目標(biāo)檢測和語義分割，并用它來識別行人、汽車、道路、人行道和交通信號燈，同時(shí)學(xué)習(xí)一些影響最深遠(yuǎn)的神經(jīng)網(wǎng)絡(luò)算法。

經(jīng)過對本書的學(xué)習(xí)，讀者將能熟練使用Carla模擬器，基于該模擬器使用行為克隆和PID控制器來控制汽車；了解網(wǎng)絡(luò)協(xié)議、傳感器、攝像頭，以及如何使用激光雷達(dá)來對周圍世界進(jìn)行建圖和定位。

但在深入研究這些驚人的技術(shù)之前，請花點(diǎn)時(shí)間想象一下20年以后的未來。汽車會是什么樣子？它們可以實(shí)現(xiàn)自動駕駛嗎？那時(shí)候汽車能飛起來嗎？交通信號燈那時(shí)還是否會存在？那些汽車多快、多重，又有多貴？人們?nèi)绾问褂闷�車以及人們使用汽車的頻率如何？自動駕駛公交車和貨車又將如何發(fā)展？

人們無法預(yù)知未來，但可以想象，自動駕駛汽車和一切能夠自動駕駛的事物將以令人興奮的新方式塑造人們的城市和日常生活。

讀者想在定義未來中發(fā)揮積極作用嗎？如果是，請繼續(xù)閱讀下去。本書會成為這場旅程的開端。

本書面向的讀者

這本書涵蓋了建造自動駕駛汽車所需的幾個(gè)方面，適用于具備任何一種編程語言 （zuihao是Python） 基礎(chǔ)知識的程序員。讀者不需要具備深度學(xué)習(xí)的經(jīng)驗(yàn)，但是，若要wanquan理解zui高階的章節(jié)，學(xué)習(xí)一些擴(kuò)展閱讀的內(nèi)容可能會有所幫助。與第11章相關(guān)的參考源代碼是用C 語言編寫的。

本書內(nèi)容

第1章，OpenCV基礎(chǔ)知識和攝像頭標(biāo)定，介紹了OpenCV和NumPy；講解如何處理圖像和視頻，如何使用OpenCV檢測行人；此外還解釋了攝像頭的工作原理以及如何使用OpenCV對其進(jìn)行校準(zhǔn)。

第2章，理解和使用信號，介紹了不同類型的信號：串行、并行、數(shù)字、模擬、單端和差分信號，并講解了一些非常重要的協(xié)議：CAN、以太網(wǎng)、TCP和UDP。

第3章，車道檢測，涵蓋使用OpenCV檢測路上車道所需的一切。本章介紹了閾值處理、透視校正、邊緣檢測、直方圖、滑動窗口算法以及獲得zui佳檢測所需的濾波。

第4章，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，介紹了一般的神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)。本章還介紹了Keras （一個(gè)深度學(xué)習(xí)模塊），并展示了如何用它來檢測手寫數(shù)字和對一些圖像進(jìn)行分類。讀者通過本章學(xué)習(xí)，能夠快速掌握編寫神經(jīng)網(wǎng)絡(luò)的方法。

第5章，深度學(xué)習(xí)工作流，恰當(dāng)?shù)匮a(bǔ)充了第4章中基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。本章介紹了神經(jīng)網(wǎng)絡(luò)理論和典型工作流的步驟：獲取或創(chuàng)建數(shù)據(jù)集，將其拆分為訓(xùn)練、驗(yàn)證和測試集，進(jìn)行數(shù)據(jù)增強(qiáng)，在分類器中使用的主要層以及如何訓(xùn)練、推理和重新訓(xùn)練。本章還介紹了欠擬合和過擬合，并解釋了如何將卷積層的激活情況可視化。

第6章，改進(jìn)神經(jīng)網(wǎng)絡(luò)，解釋了如何優(yōu)化神經(jīng)網(wǎng)絡(luò)、減少其參數(shù)，以及如何使用批量歸一化、早終止、數(shù)據(jù)增強(qiáng)和隨機(jī)失活 (Dropout) 來提高其驗(yàn)證準(zhǔn)確性。

第7章，檢測行人和交通信號燈，介紹自動駕駛汽車模擬器Carla，并用它來創(chuàng)建交通信號燈數(shù)據(jù)集。本章還使用被稱為SSD的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)檢測行人、汽車和交通信號燈，以及使用名為遷移學(xué)習(xí)的強(qiáng)大技術(shù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以便根據(jù)交通信號燈的顏色對其進(jìn)行分類。

第8章，行為克隆，講解如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)來驅(qū)動Carla，解釋了行為克隆是什么，如何使用Carla構(gòu)建驅(qū)動數(shù)據(jù)集，如何創(chuàng)建適合此任務(wù)的網(wǎng)絡(luò)以及如何對其進(jìn)行訓(xùn)練。本章還使用顯著圖來了解網(wǎng)絡(luò)正在學(xué)習(xí)什么，并將其與Carla集成以幫助它自驅(qū)動。

第9章，語義分割，這是關(guān)于深度學(xué)習(xí)的最后一章，也是zui高階的一章，解釋了什么是語義分割。本章詳細(xì)介紹了一個(gè)非常有趣的DenseNet架構(gòu)，展示了如何使其適用于語義分割。





第10章，轉(zhuǎn)向、加速和制動控制，本章內(nèi)容涉及控制自動駕駛汽車，解釋了什么是控制器，重點(diǎn)介紹了PID控制器并涵蓋了MPC控制器的基礎(chǔ)知識。最后將在Carla中實(shí)現(xiàn)一個(gè)PID控制器的控制。

第11章，環(huán)境建圖，這是本書最后一章。本章討論了地圖、定位和激光雷達(dá)，并介紹了一些開源建圖工具。讀者將了解到什么是同步定位與地圖構(gòu)建(SLAM)，以及如何使用Ouster激光雷達(dá)和Google Cartographer實(shí)現(xiàn)它。

充分利用本書

本書假定讀者已經(jīng)具備Python的基礎(chǔ)知識，熟悉所用操作系統(tǒng)的命令解析器shell。讀者需要安裝Python，也可能用到虛擬環(huán)境來匹配本書中使用的軟件版本。建議使用GPU，因?yàn)闆]有GPU的訓(xùn)練會很艱難。Docker將有助于第11章環(huán)境建圖。

本書使用的軟件見下表：


本書用到的軟件/硬件
操作系統(tǒng)要求
Python 3.7
無
TensorFlow 2.2
無
Keras 2.3
無
Carla 0.9.9.2
無

如果讀者使用的是本書的電子版，建議自己輸入代碼或通過github代碼倉訪問代碼。這樣做有助于避免與復(fù)制粘貼代碼