本書結(jié)合工程教育專業(yè)認(rèn)證要求,針對(duì)當(dāng)今社會(huì)對(duì)機(jī)器人感知技術(shù)人才的需求,從本科生工程能力出發(fā),貫徹從基本功能模塊到整體感知系統(tǒng)設(shè)計(jì)逐層遞進(jìn)的教學(xué)思路,以家庭服務(wù)機(jī)器人為主線,從模塊化知識(shí)塊入手,介紹相關(guān)理論的實(shí)際應(yīng)用技術(shù)。引導(dǎo)學(xué)生完成相關(guān)感知模塊的理論知識(shí)學(xué)習(xí)、設(shè)計(jì)與開發(fā),更加靈活地培養(yǎng)學(xué)生的系統(tǒng)設(shè)計(jì)與開發(fā)能力,更好地激發(fā)學(xué)生的自主學(xué)習(xí)意識(shí),更好地服務(wù)于機(jī)器人技術(shù)創(chuàng)新人才的培養(yǎng)
東南大學(xué)于2016年開設(shè)了全國首個(gè)機(jī)器人工程本科專業(yè)。該專業(yè)建設(shè)之初,筆者在開展機(jī)器人感知方向科研工作的同時(shí)一直在思考,如何培養(yǎng)機(jī)器人專業(yè)人才,特別是如何高質(zhì)量、高效率地培養(yǎng)機(jī)器人感知方向的專業(yè)人才。依據(jù)江蘇省高等學(xué)校重點(diǎn)教材項(xiàng)目的要求,筆者結(jié)合多年科研和一線教學(xué)實(shí)踐經(jīng)驗(yàn),以及對(duì)專業(yè)特點(diǎn)與技術(shù)變革的思考,探索并嘗試編寫了本教材。
機(jī)器人是科技發(fā)展的重要結(jié)晶,是人在改造世界過程中的產(chǎn)物。人對(duì)智能機(jī)器的幻想與癡迷由來已久,中國著名古籍《列子·湯問》中就曾記載偃師造人的傳說,這或許是人最早對(duì)自動(dòng)機(jī)器與環(huán)境(音律環(huán)境)和諧關(guān)系、人機(jī)共融情景的憧憬。在如此憧憬下,人們經(jīng)過長期孜孜不倦的研究,終于在20世紀(jì)60年代開發(fā)出了最早的智能機(jī)器人。隨后,智能機(jī)器人滲透到生活、生產(chǎn)等越來越多的領(lǐng)域,帶來了良好的經(jīng)濟(jì)效益和社會(huì)效益。2021年我國工業(yè)和信息化部等15個(gè)部門發(fā)布的《“十四五”機(jī)器人產(chǎn)業(yè)發(fā)展規(guī)劃》進(jìn)一步推動(dòng)了智能機(jī)器人產(chǎn)業(yè)的高質(zhì)量發(fā)展,“機(jī)器人+”的行業(yè)應(yīng)用模式將成為經(jīng)濟(jì)發(fā)展新動(dòng)能,催生經(jīng)濟(jì)新格局。這也對(duì)筆者所從事的機(jī)器人感知領(lǐng)域的研究和教學(xué)工作提出了新的挑戰(zhàn)。
我們知道,人生活在五彩斑斕的世界中,時(shí)時(shí)刻刻都在感知周圍的環(huán)境并與其進(jìn)行交互,人對(duì)環(huán)境的感知是人行為的基礎(chǔ)。人研究智能機(jī)器人的目的是讓機(jī)器人具有類人智能,將人的智能賦予機(jī)器人。在此進(jìn)程中,賦予機(jī)器人智能環(huán)境感知能力是重要一環(huán),對(duì)機(jī)器人的自主性、智能性、社會(huì)性提升均具有重要意義。機(jī)器人通過自身攜帶的傳感器(如GPS、IMU、視覺、激光雷達(dá)、超聲波等),或者智能空間中的傳感器,來獲取周圍的靜態(tài)物理環(huán)境、動(dòng)態(tài)目標(biāo)等傳感數(shù)據(jù);然后,數(shù)據(jù)經(jīng)過處理形成有用信息,進(jìn)而實(shí)現(xiàn)環(huán)境的重構(gòu),完成對(duì)周圍環(huán)境的客觀表達(dá);最后,再形成機(jī)器人本體內(nèi)的“主觀”理解。更進(jìn)一步,機(jī)器人在對(duì)自然環(huán)境感知的基礎(chǔ)上,針對(duì)復(fù)雜的社會(huì)環(huán)境,也可以像人一樣感知,具備了較高的社會(huì)感知和智能能力。當(dāng)機(jī)器人具備一定社會(huì)感知能力后,也就具有了社交能力。
如今,隨處可見各種機(jī)器人在運(yùn)行,它們時(shí)刻對(duì)所處環(huán)境進(jìn)行著感知。如:在馬路上行駛的無人駕駛汽車,對(duì)路面、車道線、障礙物、行人、其他車輛等進(jìn)行實(shí)時(shí)感知;服務(wù)機(jī)器人在從一個(gè)位置移動(dòng)到另一個(gè)位置的過程中,對(duì)環(huán)境地圖、服務(wù)目標(biāo)、操作對(duì)象、場(chǎng)所語義等進(jìn)行感知;無人自主潛水器在水下航行時(shí),自主進(jìn)行探測(cè)、建圖與導(dǎo)航;無人機(jī)或無人機(jī)群置空后,對(duì)任務(wù)目標(biāo)、環(huán)境對(duì)象、任務(wù)態(tài)勢(shì)進(jìn)行捕獲與感知……然而,我們也應(yīng)當(dāng)清醒地認(rèn)識(shí)到,機(jī)器人目前的感知能力仍遠(yuǎn)達(dá)不到人們期望的水平。一個(gè)現(xiàn)實(shí)的例子是現(xiàn)在還沒有一輛汽車可以達(dá)到L5級(jí)別的自動(dòng)駕駛,甚至L4級(jí)別的自動(dòng)駕駛也很難完成。因此,研究人員和相關(guān)工程技術(shù)人員還需再接再厲,在相關(guān)領(lǐng)域持續(xù)發(fā)揮才智,培養(yǎng)該領(lǐng)域后繼人才成為當(dāng)下的迫切需求。
機(jī)器人感知技術(shù)作為機(jī)器人技術(shù)的一個(gè)基礎(chǔ)分支,受到多個(gè)行業(yè)、領(lǐng)域的重點(diǎn)關(guān)注。然而目前熟練掌握該方向技術(shù)的專業(yè)人員尚鳳毛麟角,專業(yè)用人荒與就業(yè)難的自相矛盾在該領(lǐng)域也逐漸顯現(xiàn)。企業(yè)所需要的機(jī)器人感知技術(shù)研發(fā)人員,不僅要有扎實(shí)的理論基礎(chǔ)、廣泛的知識(shí)面,更要有豐富的動(dòng)手實(shí)踐經(jīng)驗(yàn)。由此,對(duì)機(jī)器人感知技術(shù)專業(yè)人才的培養(yǎng)方案,不僅要貼近前沿需求和“實(shí)戰(zhàn)”要求,同時(shí)也要涵蓋理論和技術(shù)前沿,并且易于初學(xué)者上手。
本書是筆者在多年的科研與教學(xué)實(shí)踐基礎(chǔ)上,參考相關(guān)領(lǐng)域優(yōu)秀成果編寫而成的,內(nèi)容力求做到由淺入深、循序漸進(jìn)、條理清晰,既強(qiáng)調(diào)了基本原理和工程應(yīng)用,又反映了國內(nèi)外研究和應(yīng)用的最新進(jìn)展,具有系統(tǒng)性、實(shí)用性、前沿性和易讀性。
1)系統(tǒng)性。相關(guān)理論脈絡(luò)清晰,全面梳理從度量層到語義層、從靜態(tài)對(duì)象到動(dòng)態(tài)對(duì)象以及多種模態(tài)信息下的機(jī)器人感知技術(shù),此外對(duì)常用的數(shù)學(xué)工具做了系統(tǒng)性歸納。
2)實(shí)用性。根據(jù)機(jī)器人系統(tǒng)應(yīng)用需求,對(duì)應(yīng)用中使用的大量經(jīng)典方法進(jìn)行了詳細(xì)闡述,并在實(shí)驗(yàn)部分對(duì)部分重要方法給出了實(shí)現(xiàn)過程,希望讀者通過本書的學(xué)習(xí)能掌握這些實(shí)用方法,快速投入“實(shí)戰(zhàn)”。
3)前沿性。展現(xiàn)國際上最新的研究成果,反映機(jī)器人感知領(lǐng)域的最先進(jìn)水平。
4)易讀性。文字表述力求通俗易懂。在內(nèi)容安排上力求由淺入深,循序漸進(jìn)。
本書共7章并附相關(guān)的實(shí)驗(yàn)指導(dǎo)。
第1章介紹機(jī)器人環(huán)境感知技術(shù)的有關(guān)概念和現(xiàn)狀,并對(duì)相關(guān)研究類別的特點(diǎn)進(jìn)行了討論。
第2章介紹在機(jī)器人感知系統(tǒng)設(shè)計(jì)過程中主要使用的數(shù)學(xué)工具,包括線性代數(shù)、求導(dǎo)法則、優(yōu)化算法、解析幾何、概率等。
第3章從自主移動(dòng)機(jī)器人攜帶的常用環(huán)境感知傳感器入手,介紹了傳感器感知方式和方法,以及從度量層面對(duì)傳感器信息進(jìn)行分析的方法。
第4章主要從靜態(tài)對(duì)象感知角度出發(fā),介紹用于靜態(tài)對(duì)象的自主感知技術(shù),主要包括目標(biāo)的檢測(cè)和識(shí)別,所用到的對(duì)象信息有二維信息、三維信息和觸覺信息。
第5章主要從動(dòng)態(tài)對(duì)象感知角度出發(fā),介紹一般動(dòng)態(tài)障礙物的檢測(cè)方法以及對(duì)動(dòng)態(tài)人臉和人體的檢測(cè)與跟蹤方法。
第6章介紹幾種語義級(jí)別的環(huán)境描述和理解方法。
第7章面
前言
第1章引言1
11機(jī)器人感知技術(shù)概述1
111度量層環(huán)境感知技術(shù)3
112拓?fù)鋵迎h(huán)境感知技術(shù)5
113語義層環(huán)境感知技術(shù)6
114復(fù)合環(huán)境感知技術(shù)8
12機(jī)器人與環(huán)境的交互機(jī)制概述9
參考文獻(xiàn)10
第2章數(shù)學(xué)基礎(chǔ)15
21線性代數(shù)15
211向量15
212標(biāo)量15
213矩陣16
214張量16
215矩陣的運(yùn)算和操作16
216向量的線性相關(guān)與獨(dú)立17
217矩陣的秩17
218單位矩陣或恒等運(yùn)算符18
219矩陣的行列式18
2110逆矩陣18
2111向量的范數(shù)(模)19
2112偽逆矩陣20
2113以特定向量為方向的單位
向量20
2114一個(gè)向量在另一個(gè)向量方向
上的投影20
2115特征向量和特征值20
2116矩陣的特征方程20
22導(dǎo)數(shù)、偏導(dǎo)數(shù)與鏈?zhǔn)椒▌t21
221微分21
222函數(shù)的梯度21
223連續(xù)偏導(dǎo)數(shù)22
224鏈?zhǔn)椒▌t22
225反向傳播算法22
23梯度下降法及其變式23
231梯度下降法23
232梯度下降法的變式23
24二維空間位姿描述25
25三維空間位姿描述27
251正交旋轉(zhuǎn)矩陣28
252三角度表示法29
253奇異點(diǎn)29
254單位四元數(shù)29
255平移與旋轉(zhuǎn)組合30
26張量31
27概率基礎(chǔ)32
271隨機(jī)實(shí)驗(yàn)和樣本空間32
272并集、交集和條件概率32
273事件聯(lián)合概率32
274事件的互斥32
275事件的獨(dú)立33
276條件獨(dú)立33
277貝葉斯公式33
278概率質(zhì)量函數(shù)33
279概率密度函數(shù)34
2710隨機(jī)變量的數(shù)學(xué)期望34
2711隨機(jī)變量的方差34
2712偏度和峰度34
2713協(xié)方差35
2714相關(guān)性系數(shù)36
2715一些常見的概率分布36
2716似然函數(shù)37
2717最大似然估計(jì)38
2718中心極限定理38
28習(xí)題39
參考文獻(xiàn)39
第3章環(huán)境信息采集與度量層
數(shù)據(jù)處理40
31基于超聲波的環(huán)境信息40
311超聲波傳感器工作原理與
關(guān)鍵指標(biāo)40
312超聲波傳感器測(cè)量數(shù)據(jù)
特性42
313基于超聲波傳感器的地圖
創(chuàng)建43
32基于激光雷達(dá)的環(huán)境信息47
321激光雷達(dá)工作原理47
322基于激光雷達(dá)的地圖創(chuàng)建51
33基于視覺的環(huán)境信息53
331圖像的數(shù)據(jù)表達(dá)53
332針孔相機(jī)模型與立體視覺54
333深度傳感器及顏色深度傳
感器58
334視覺SLAM59
34常見觸覺傳感器67
341力傳感器及其數(shù)據(jù)處理67
342接觸覺傳感器及其數(shù)據(jù)
處理67
343壓覺傳感器及其數(shù)據(jù)處理68
344滑覺傳感器及其數(shù)據(jù)處理69
35其他傳感器70
351聽覺傳感器及其數(shù)據(jù)處理70
352味覺傳感器及其數(shù)據(jù)處理71
353嗅覺傳感器及其數(shù)據(jù)處理71
354接近覺傳感器及其數(shù)據(jù)處理71
36習(xí)題72
參考文獻(xiàn)72
第4章靜態(tài)目標(biāo)檢測(cè)與識(shí)別74
41基于二維信息的物體檢測(cè)與識(shí)別74
411基于度量數(shù)據(jù)的障礙物
檢測(cè)74
412基于深度神經(jīng)網(wǎng)絡(luò)的物體
檢測(cè)76
413基于傳統(tǒng)特征的物體分類
識(shí)別90
414基于CNN的物體識(shí)別94
42基于三維信息的物體檢測(cè)與識(shí)別97
421可行區(qū)域檢測(cè)97
422目標(biāo)物體檢測(cè)與識(shí)別104
43基于觸覺信息的物體感知技術(shù)109
431滑移檢測(cè)109
432物體觸覺識(shí)別114
44習(xí)題117
參考文獻(xiàn)117
第5章動(dòng)態(tài)目標(biāo)檢測(cè)與識(shí)別119
51動(dòng)態(tài)障礙物的檢測(cè)119
52人臉檢測(cè)與識(shí)別120
521人臉檢測(cè)120
522人臉跟蹤126
53人體檢測(cè)127
531圖像預(yù)處理127
532梯度方向直方圖特征128
533基于有監(jiān)督學(xué)習(xí)的人體檢測(cè)130
54人體運(yùn)動(dòng)檢測(cè)與跟蹤131
541人體運(yùn)動(dòng)檢測(cè)131
542人體運(yùn)動(dòng)跟蹤1