計算機視覺是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中感知的科學(xué)。本書是計算機視覺領(lǐng)域的經(jīng)典教材,內(nèi)容涉及攝像機的幾何模型、光照及陰影、顏色、線性濾波、局部圖像特征、紋理、立體視覺、運動結(jié)構(gòu)、聚類分割、分組與模型擬合、跟蹤、配準(zhǔn)、平滑表面及其輪廓、深度數(shù)據(jù)、圖像分類、物體檢測與識別、基于圖像的建模與渲染、人形研究、圖像搜索與檢索、優(yōu)化技術(shù)等。與前一版相比,本書簡化了部分主題,增加了應(yīng)用示例,重寫了關(guān)于現(xiàn)代特征的內(nèi)容,詳述了現(xiàn)代圖像編輯技術(shù)與物體識別技術(shù)。
計算機視覺的經(jīng)典教材,作者歷經(jīng)多年沉淀的全新修訂版本。豐富的應(yīng)用實例,大量的插圖與詳細(xì)的數(shù)學(xué)分析,帶領(lǐng)讀者全面了解計算機視覺領(lǐng)域的基礎(chǔ)知識到高級應(yīng)用。
David Forsyth:1984年于威特沃特斯蘭德大學(xué)取得電氣工程學(xué)士學(xué)位,1986年取得電氣工程碩士學(xué)位,1989年于牛津貝列爾學(xué)院取得博士學(xué)位。之后在艾奧瓦大學(xué)任教3年,并在加州大學(xué)伯克利分校任教10年,之后在伊利諾斯大學(xué)任教。2000年和2001年任IEEE計算機視覺和模式識別會議執(zhí)行副主席,2006年任CVPR常任副主席,2008年任歐洲計算機視覺會議執(zhí)行副主席,是所有關(guān)于計算機視覺主要國際會議的常任執(zhí)委會成員。他為SIGGRAPH執(zhí)委會工作了5期。2006年獲IEEE技術(shù)成就獎,2009年成為IEEE會士。
高永強,中國科學(xué)院深圳先進技術(shù)研究院集成所多媒體研究中心的博士,研究方向是數(shù)字圖像處理,參與機器人ROS系統(tǒng)的關(guān)于視覺應(yīng)用的項目,并整理總結(jié)了關(guān)于openCV應(yīng)用的很多文章,研究方向是計算機視覺、模式識別和機器學(xué)習(xí)。
目錄
第一部分圖像生成
第1章攝像機的幾何模型
1.1圖像成像
1.1.1針孔透視
1.1.2弱透視
1.1.3帶鏡頭的照相機
1.1.4人的眼睛
1.2內(nèi)參數(shù)和外參數(shù)
1.2.1剛體變換和齊次坐標(biāo)
1.2.2內(nèi)參數(shù)
1.2.3外參數(shù)
1.2.4透視投影矩陣
1.2.5弱透視投影矩陣
1.3照相機的幾何標(biāo)定
1.3.1使用線性方法對照相機進行標(biāo)定
1.3.2使用非線性方法對照相機進行標(biāo)定
1.4注釋
習(xí)題
編程練習(xí)
第2章光照及陰影
2.1像素的亮度
2.1.1表面反射
2.1.2光源及其產(chǎn)生的效果
2.1.3朗伯 鏡面反射模型
2.1.4面光源
2.2陰影的估算
2.2.1輻射校準(zhǔn)和高動態(tài)范圍圖像
2.2.2鏡面反射模型
2.2.3對亮度和照度的推理
2.2.4光度立體技術(shù):從多幅陰影圖像恢復(fù)形狀
2.3對互反射進行建模
2.3.1源于區(qū)域光在一個塊上的照度
2.3.2熱輻射和存在性
2.3.3互反射模型
2.3.4互反射的定性性質(zhì)
2.4一個陰影圖像的形狀
2.5注釋
習(xí)題
編程練習(xí)
第3章顏色
3.1人類顏色感知
3.1.1顏色匹配
3.1.2顏色感受體
3.2顏色物理學(xué)
3.2.1顏色的來源
3.2.2表面顏色
3.3顏色表示
3.3.1線性顏色空間
3.3.2非線性顏色空間
3.4圖像顏色的模型
3.4.1漫反射項
3.4.2鏡面反射項
3.5基于顏色的推論
3.5.1用顏色發(fā)現(xiàn)鏡面反射
3.5.2用顏色去除陰影
3.5.3顏色恒常性:從圖像顏色獲得表面顏色
3.6注釋
習(xí)題
編程練習(xí)
第二部分早期視覺:使用一幅圖像
第4章線性濾波
4.1線性濾波與卷積
4.1.1卷積
4.2移不變線性系統(tǒng)
4.2.1離散卷積
4.2.2連續(xù)卷積
4.2.3離散卷積的邊緣效應(yīng)
4.3空間頻率和傅里葉變換
4.3.1傅里葉變換
4.4采樣和混疊
4.4.1采樣
4.4.2混疊
4.4.3平滑和重采樣
4.5濾波器與模板
4.5.1卷積與點積
4.5.2基的改變
4.6技術(shù):歸一化相關(guān)和檢測模式
4.6.1通過歸一化相關(guān)檢測手勢的方法來控制電視機
4.7技術(shù):尺度和圖像金字塔
4.7.1高斯金字塔
4.7.2多尺度表示的應(yīng)用
4.8注釋
習(xí)題
編程練習(xí)
第5章局部圖像特征
5.1計算圖像梯度
5.1.1差分高斯濾波
5.2對圖像梯度的表征
5.2.1基于梯度的邊緣檢測子
5.2.2方向
5.3查找角點和建立近鄰
5.3.1查找角點
5.3.2采用尺度和方向構(gòu)建近鄰
5.4通過SIFT特征和HOG特征描述近鄰
5.4.1SIFT特征
5.4.2HOG特征
5.5實際計算局部特征
5.6注釋
習(xí)題
編程練習(xí)
第6章紋理
6.1利用濾波器進行局部紋理表征
6.1.1斑點和條紋
6.1.2從濾波器輸出到紋理表征
6.1.3實際局部紋理表征
6.2通過紋理基元的池化紋理表征
6.2.1向量量化和紋理基元
6.2.2k均值聚類的向量量化
6.3紋理合成和對圖像中的空洞進行填充
6.3.1通過局部模型采樣進行合成
6.3.2填充圖像中的空洞
6.4圖像去噪
6.4.1非局部均值
6.4.2三維塊匹配(BM3D)
6.4.3稀疏編碼學(xué)習(xí)
6.4.4結(jié)果
6.5由紋理恢復(fù)形狀
6.5.1在平面內(nèi)由紋理恢復(fù)形狀
6.5.2從彎曲表面的紋理恢復(fù)形狀
6.6注釋
習(xí)題
編程練習(xí)
第三部分低層視覺:使用多幅圖像
第7章立體視覺
7.1雙目攝像機的幾何屬性和對極約束
7.1.1對極幾何
7.1.2本征矩陣
7.1.3基礎(chǔ)矩陣
7.2雙目重構(gòu)
7.2.1圖像矯正
7.3人類立體視覺
7.4雙目融合的局部算法
7.4.1相關(guān)
7.4.2多尺度的邊緣匹配
7.5雙目融合的全局算法
7.5.1排序約束和動態(tài)規(guī)劃
7.5.2平滑約束和基于圖的組合優(yōu)化
7.6使用多臺攝像機
7.7應(yīng)用:機器人導(dǎo)航
7.8注釋
習(xí)題
編程練習(xí)
第8章從運動中恢復(fù)三維結(jié)構(gòu)
8.1內(nèi)部標(biāo)定的透視攝像機
8.1.1問題的自然歧義性
8.1.2從兩幅圖像估計歐氏結(jié)構(gòu)和運動
8.1.3從多幅圖像估計歐氏結(jié)構(gòu)和運動
8.2非標(biāo)定的弱透視攝像機
8.2.1問題的自然歧義性
8.2.2從兩幅圖像恢復(fù)仿射結(jié)構(gòu)和運動
8.2.3從多幅圖像恢復(fù)仿射結(jié)構(gòu)和運動
8.2.4從仿射到歐氏圖像
8.3非標(biāo)定的透視攝像機
8.3.1問題的自然歧義性
8.3.2從兩幅圖像恢復(fù)投影結(jié)構(gòu)和運動
8.3.3從多幅圖像恢復(fù)投影結(jié)構(gòu)和運動
8.3.4從投影到歐氏圖像
8.4注釋
習(xí)題
編程練習(xí)
第四部分中層視覺方法
第9章基于聚類的分割方法
9.1人類視覺:分組和格式塔原理
9.2重要應(yīng)用
9.2.1背景差分
9.2.2鏡頭的邊界檢測
9.2.3交互分割
9.2.4形成圖像區(qū)域
9.3基于像素點聚類的圖像分割
9.3.1基本的聚類方法
9.3.2分水嶺算法
9.3.3使用k均值算法進行分割
9.3.4均值漂移:查找數(shù)據(jù)中的局部模型
9.3.5采用均值漂移進行聚類和分割
9.4分割、聚類和圖論
9.4.1圖論術(shù)語和相關(guān)事實
9.4.2根據(jù)圖論進行凝聚式聚類
9.4.3根據(jù)圖論進行分解式聚類
9.4.4歸一化切割
9.5圖像分割在實際中的應(yīng)用
9.5.1對分割器的評估
9.6注釋
習(xí)題
編程練習(xí)
第10章分組與模型擬合
10.1霍夫變換
10.1.1用霍夫變換擬合直線
10.1.2霍夫變換的使用
10.2擬合直線與平面
10.2.1擬合單一直線
10.2.2擬合平面
10.2.3擬合多條直線
10.3擬合曲線
10.4魯棒性
10.4.1M估計法
10.4.2RANSAC:搜尋正常點
10.5用概率模型進行擬合
10.5.1數(shù)據(jù)缺失問題
10.5.2混合模型和隱含變量
10.5.3混合模型的EM算法
10.5.4EM算法的難點
10.6基于參數(shù)估計的運動分割
10.6.1光流和運動
10.6.2光流模型
10.6.3用分層法分割運動
10.7模型選擇:哪個最好
10.7.1利用交叉驗證選擇模型
10.8注釋
習(xí)題
編程練習(xí)
第11章跟蹤
11.1簡單跟蹤策略
11.1.1基于檢測的跟蹤
11.1.2基于匹配的平移跟蹤
11.1.3使用仿射變換來確定匹配
11.2匹配跟蹤
11.2.1匹配摘要表征
11.2.2流跟蹤
11.3基于卡爾曼濾波器的線性動態(tài)模型跟蹤
11.3.1線性測量值和線性動態(tài)模型
11.3.2卡爾曼濾波
11.3.3前向后向平滑
11.4數(shù)據(jù)相關(guān)
11.4.1卡爾曼濾波檢測方法
11.4.2數(shù)據(jù)相關(guān)的關(guān)鍵方法
11.5粒子濾波
11.5.1概率分布的采樣表示
11.5.2最簡單的粒子濾波器
11.5.3跟蹤算法
11.5.4可行的粒子濾波器
11.5.5創(chuàng)建粒子濾波器中的粒子問題
11.6注釋
習(xí)題
編程練習(xí)
第五部分高層視覺
第12章配準(zhǔn)
12.1剛性物體配準(zhǔn)
12.1.1迭代最近點
12.1.2通過關(guān)聯(lián)搜索轉(zhuǎn)換關(guān)系
12.1.3應(yīng)用:建立圖像拼接
12.2基于模型的視覺:使用投影配準(zhǔn)剛性物體
12.2.1驗證:比較轉(zhuǎn)換與渲染后的原圖與目標(biāo)圖
12.3配準(zhǔn)可形變目標(biāo)
12.3.1使用主動外觀模型對紋理進行變形
12.3.2實踐中的主動外觀模型
12.3.3應(yīng)用:醫(yī)療成像系統(tǒng)中的配準(zhǔn)
12.4注釋
習(xí)題
編程練習(xí)
第13章平滑的表面及其輪廓
13.1微分幾何的元素
13.1.1曲線
13.1.2表面
13.2表面輪廓幾何學(xué)
13.2.1遮擋輪廓和圖形輪廓
13.2.2圖像輪廓的歧點和拐點
13.2.3Koenderink定理
13.3視覺事件:微分幾何的補充
13.3.1高斯映射的幾何關(guān)系
13.3.2漸近曲線
13.3.3漸近球面映射
13.3.4局部視覺事件
13.3.5雙切射線流形
13.3.6多重局部視覺事件
13.3.7外觀圖
13.4注釋
習(xí)題
第14章深度數(shù)據(jù)
14.1主動深度傳感器
14.2深度數(shù)據(jù)的分割
14.2.1分析微分幾何學(xué)的基本元素
14.2.2在深度圖像中尋找階躍和頂邊
14.2.3把深度圖像分割為平面區(qū)域
14.3深度圖像的配準(zhǔn)和模型獲取
14.3.1四元組
14.3.2使用最近點迭代方法配準(zhǔn)深度圖像
14.3.3多幅深度圖像的融合
14.4物體識別
14.4.1使用解釋樹匹配分段平面表示的表面
14.4.2使用自旋圖像匹配自由形態(tài)的曲面
14.5Kinect
14.5.1特征
14.5.2技術(shù):決策樹和隨機森林
14.5.3標(biāo)記像素
14.5.4計算關(guān)節(jié)位置
14.6注釋
習(xí)題
編程練習(xí)
第15章用于分類的學(xué)習(xí)
15.1分類、誤差和損失函數(shù)
15.1.1基于損失的決策
15.1.2訓(xùn)練誤差、測試誤差和過擬合
15.1.3正則化
15.1.4錯誤率和交叉驗證
15.1.5受試者工作特征曲線(ROC)
15.2主要的分類策略
15.2.1示例:采用歸一化類條件密度的馬氏距離
15.2.2示例:類條件直方圖和樸素貝葉斯
15.2.3示例:采用最近鄰的非參分類器
15.2.4示例:線性支持向量機
15.2.5示例:核機器
15.2.6示例:級聯(lián)和Adaboost
15.3構(gòu)建分類器的實用方法
15.3.1手動調(diào)整訓(xùn)練數(shù)據(jù)并提升性能
15.3.2通過二類分類器構(gòu)建多類分類器
15.3.3求解SVM和核機器的方案
15.4注釋
習(xí)題
第16章圖像分類
16.1構(gòu)建好的圖像特征
16.1.1示例應(yīng)用
16.1.2采用GIST特征進行編碼布局
16.1.3采用視覺單詞總結(jié)圖像
16.1.4空間金字塔
16.1.5采用主分量進行降維
16.1.6采用典型變量分析進行降維
16.1.7示例應(yīng)用:檢測不雅圖片
16.1.8示例應(yīng)用:材料分類
16.1.9示例應(yīng)用:場景分類
16.2分類單一物體的圖像
16.2.1圖像分類策略
16.2.2圖像分類的評估系統(tǒng)
16.2.3固定類數(shù)據(jù)集
16.2.4大量類的數(shù)據(jù)集
16.2.5花、樹葉和鳥:某些特定的數(shù)據(jù)集
16.3在實踐中進行圖像分類
16.3.1關(guān)于圖像特征的代碼
16.3.2圖像分類數(shù)據(jù)庫
16.3.3數(shù)據(jù)庫偏差
16.3.4采用眾包平臺進行數(shù)據(jù)庫收集
16.4注釋
編程練習(xí)
第17章檢測圖像中的物體
17.1滑動窗口法
17.1.1人臉檢測
17.1.2行人檢測
17.1.3邊界檢測
17.2檢測形變物體
17.3物體檢測算法的發(fā)展現(xiàn)狀
17.3.1數(shù)據(jù)庫和資源
17.4注釋
編程練習(xí)
第18章物體識別
18.1物體識別應(yīng)該做什么
18.1.1物體識別系統(tǒng)應(yīng)該做什么
18.1.2目前物體識別的策略
18.1.3什么是類別
18.1.4選擇:應(yīng)該怎么描述
18.2特征問題
18.2.1提升當(dāng)前圖像特征
18.2.2其他類型的圖像特征