本書主要介紹了圖像畫質相關的各類底層視覺任務及其相關算法，重點講解了去噪、超分辨率、去霧、高動態(tài)范圍、圖像合成與圖像和諧化、圖像增強與圖像修飾等多種類型的基礎任務的設定及其對應的經(jīng)典算法和模型。本書討論了底層視覺任務的基本特征，并從成像過程及圖像處理的基礎知識出發(fā)，系統(tǒng)分析了不同任務下的退化機制，以及對應的算法設計原則。本書在算法選擇上兼顧了經(jīng)典的傳統(tǒng)圖像算法及當前較新的人工智能模型算法，可以作為從圖像處理領域或者深度學習領域進入底層計算機視覺領域進行學習的讀者的基礎讀物。本書主要面向的讀者群體包括深度學習與計算機視覺行業(yè)的從業(yè)人員，計算機、人工智能及其相關專業(yè)方向的學生，圖像處理相關技術的愛好者與學習者。
賈壯，計算機視覺算法工程師，畢業(yè)于清華大學自動化系，模式識別與智能系統(tǒng)方向碩士，曾在百度、華為等單位從事多項視覺相關算法項目的研發(fā)與交付，在相關期刊和會議發(fā)表多篇論文，并在視覺相關國際競賽中獲得獎項，編著有《機器學習與深度學習算法基礎》等技術書籍。
第1章 畫質算法與底層視覺概述 1
1.1 畫質算法的主要任務 1
1.1.1 畫質算法定義及其主要類別 1
1.1.2 畫質問題的核心：退化 3
1.2 基于深度學習的底層視覺技術 4
1.2.1 深度學習與神經(jīng)網(wǎng)絡 4
1.2.2 底層視覺任務的特點 5
第2章 畫質處理的基礎知識 7
2.1 光照與成像 7
2.1.1 視覺與光學成像 7
2.1.2 Bayer陣列與去馬賽克 15
2.1.3 相機圖像信號處理的基本流程 20
2.2 色彩與顏色空間 25
2.2.1 人眼色覺與色度圖 25
2.2.2 常見的顏色空間 28
2.3 圖像的影調調整方法 32
2.3.1 直方圖與對比度 32
2.3.2 對比度拉伸與直方圖均衡 35
2.3.3 對比度增強算法的改進策略 39
2.4 圖像常見的空間操作 42
2.4.1 基本圖像變換：仿射變換與透視變換 42
2.4.2 光流與幀間對齊 50
2.5 圖像的頻域分析與圖像金字塔 54
2.5.1 傅里葉變換與頻域分析 54
2.5.2 自然圖像的頻域統(tǒng)計特性 60
2.5.3 圖像金字塔：高斯金字塔與拉普拉斯金字塔 61
第3章 圖像與視頻去噪算法 66
3.1 噪聲的來源與數(shù)學模型 66
3.1.1 圖像噪聲的物理來源 66
3.1.2 噪聲的數(shù)學模型 68
3.2 去噪算法的難點與策略 76
3.2.1 去噪算法的難點 76
3.2.2 盲去噪與非盲去噪 77
3.2.3 高斯去噪與真實噪聲去噪 77
3.2.4 去噪算法的評價指標 78
3.3 傳統(tǒng)去噪算法 84
3.3.1 空域濾波：均值、高斯與中值濾波器 84
3.3.2 非局部均值算法 87
3.3.3 小波變換去噪算法 90
3.3.4 雙邊濾波與導向濾波 96
3.3.5 BM3D濾波算法 104
3.4 深度學習去噪算法 106
3.4.1 深度殘差去噪網(wǎng)絡DnCNN和FFDNet 106
3.4.2 噪聲估計網(wǎng)絡去噪：CBDNet 115
3.4.3 小波變換與神經(jīng)網(wǎng)絡的結合：MWCNN 119
3.4.4 視頻去噪：DVDNet和FastDVDNet 125
3.4.5 基于Transformer的去噪方法：IPT與SwinIR 132
3.4.6 自監(jiān)督去噪算法：Noise2Noise、Noise2Void與DIP 138
3.4.7 Raw域去噪策略與算法：Unprocess與CycleISP 142
第4章 圖像與視頻超分辨率 145
4.1 超分辨率任務概述 146
4.1.1 分辨率與超分辨率任務 146
4.1.2 超分辨率的任務設定與特點 147
4.1.3 超分辨率的評價指標 150
4.2 超分辨率的傳統(tǒng)算法 156
4.2.1 上采樣插值算法與圖像銳化處理 156
4.2.2 基于自相似性的超分辨率 162
4.2.3 基于稀疏編碼的超分辨率 164
4.3 經(jīng)典深度學習超分辨率算法 166
4.3.1 神經(jīng)網(wǎng)絡超分辨率開端：SRCNN和FSRCNN 167
4.3.2 無參的高效上采樣：ESPCN 171
4.3.3 無BN層的殘差網(wǎng)絡：EDSR 173
4.3.4 殘差稠密網(wǎng)絡 176
4.3.5 針對視覺畫質的優(yōu)化：SRGAN與ESRGAN 178
4.3.6 注意力機制超分辨率網(wǎng)絡：RCAN 183
4.3.7 盲超分辨率中的退化估計：ZSSR與KernelGAN 187
4.4 真實世界的超分辨率模型 189
4.4.1 復雜退化模擬：BSRGAN與Real-ESRGAN 189
4.4.2 圖像域遷移：CycleGAN類網(wǎng)絡與無監(jiān)督超分辨率 193
4.4.3 擴散模型的真實世界超分辨率：StableSR 196
4.5 超分辨率模型的輕量化 199
4.5.1 多分支信息蒸餾：IMDN與RFDN 199
4.5.2 重參數(shù)化策略：ECBSR 206
4.5.3 消除特征冗余：GhostSR 214
4.5.4 單層極輕量化模型：edgeSR 217
4.6 視頻超分辨率模型簡介 221
4.6.1 視頻超分辨率的特點 221
4.6.2 BasicVSR、BasicVSR++與RealBasicVSR 223
4.7 超分辨率模型的優(yōu)化策略 227
4.7.1 基于分頻分區(qū)域處理的模型設計 227
4.7.2 針對細節(jié)紋理的恢復策略 228
4.7.3 可控可解釋的畫質恢復與超分辨率 231
第5章 圖像去霧 235
5.1 圖像去霧任務概述 235
5.1.1 有霧圖像的形成與影響 235
5.1.2 有霧圖像的退化：大氣散射模型 236
5.1.3 去霧算法的主要思路 237
5.2 基于物理模型的去霧算法 238
5.2.1 基于反照系數(shù)分解的Fattal去霧算法 238
5.2.2 暗通道先驗去霧算法 243
5.2.3 顏色衰減先驗去霧算法 248
5.3 深度學習去霧算法 255
5.3.1 端到端的透射圖估計：DehazeNet 255
5.3.2 輕量級去霧網(wǎng)絡模型：AOD-Net 260
5.3.3 基于GAN的去霧模型：Dehaze cGAN和Cycle-Dehaze 262
5.3.4 金字塔稠密連接網(wǎng)絡：DCPDN 264
5.3.5 特征融合注意力去霧模型：FFA-Net 265
第6章 圖像高動態(tài)范圍 277
6.1 圖像HDR任務簡介 277
6.1.1 動態(tài)范圍的概念 277
6.1.2 HDR任務分類與關鍵問題 279
6.2 傳統(tǒng)HDR相關算法 280
6.2.1 多曝融合算法 280
6.2.2 局部拉普拉斯濾波算法 285
6.2.3 Reinhard攝影色調重建算法 295
6.2.4 快速雙邊濾波色調映射算法 301
6.3 基于神經(jīng)網(wǎng)絡模型的HDR算法 306
6.3.1 網(wǎng)絡模型的訓練目標：MEF-SSIM 306
6.3.2 端到端多曝融合算法：DeepFuse 310
6.3.3 多曝權重的網(wǎng)絡計算：MEF-Net 313
6.3.4 注意力機制HDR網(wǎng)絡：AHDRNet 317
6.3.5 單圖動態(tài)范圍擴展：ExpandNet 327
第7章 圖像合成與圖像和諧化 331
7.1 圖像合成任務簡介 331
7.2 經(jīng)典圖像合成算法 332
7.2.1 alpha通道混合算法 332
7.2.2 多尺度融合：拉普拉斯金字塔融合 334
7.2.3 梯度域的無縫融合：泊松融合 337
7.3 深度學習圖像合成與圖像和諧化 343
7.3.1 空間分離注意力：S2AM模型 344
7.3.2 域驗證的和諧化：DoveNet 348
7.3.3 背景引導的域轉換：BargainNet 354
7.3.4 前景到背景的風格遷移：RainNet 357
第8章 圖像增強與圖像修飾 360
8.1 圖像增強任務概述 360
8.2 傳統(tǒng)低光增強算法 361
8.2.1 基于反色去霧的低光增強算法 361
8.2.2 多尺度Retinex算法 364
8.3 神經(jīng)網(wǎng)絡模型的增強與顏色調整 369
8.3.1 Retinex理論的模型實現(xiàn)：RetinexNet 370
8.3.2 雙邊實時增強算法：HDRNet 374
8.3.3 無參考圖的低光增強：Zero-DCE 376
8.3.4 可控的修圖模型：CSRNet 380
8.3.5 3D LUT類模型：圖像自適應3D LUT和NILUT 383
8.3.6 色域擴展：GamutNet和GamutMLP 388
書單推薦
