前言
第1章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1
1.1 神經(jīng)網(wǎng)絡(luò)的生物基礎(chǔ)與數(shù)學(xué)模型1
1.1.1 神經(jīng)元1
1.1.2 感知機2
1.1.3 BP算法6
1.2 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)10
1.2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)11
1.2.2 卷積與權(quán)值共享13
1.2.3 感受野與池化14
第2章 深度學(xué)習(xí)優(yōu)化基礎(chǔ)17
2.1 深度學(xué)習(xí)主流開源框架17
2.1.1 Caffe簡介18
2.1.2 TensorFlow簡介18
2.1.3 PyTorch簡介19
2.1.4 Theano簡介20
2.1.5 Keras簡介20
2.1.6 MXNet簡介21
2.1.7 Chainer簡介21
2.2 網(wǎng)絡(luò)優(yōu)化參數(shù)22
2.2.1 常用激活函數(shù)22
2.2.2 參數(shù)初始化方法26
2.2.3 最優(yōu)化方法27
2.2.4 歸一化方法31
2.2.5 正則化方法33
第3章 深度學(xué)習(xí)中的數(shù)據(jù)36
3.1 深度學(xué)習(xí)通用數(shù)據(jù)集的發(fā)展36
3.1.1 MNIST數(shù)據(jù)集36
3.1.2 CIFAR10和CIFAR100數(shù)據(jù)集37
3.1.3 PASCAL數(shù)據(jù)集38
3.1.4 ImageNet數(shù)據(jù)集38
3.1.5 Microsoft COCO數(shù)據(jù)集39
3.2 常見的計算機視覺任務(wù)數(shù)據(jù)集40
3.2.1 人臉數(shù)據(jù)集40
3.2.2 自動駕駛數(shù)據(jù)集52
3.2.3 醫(yī)學(xué)數(shù)據(jù)集55
3.3 數(shù)據(jù)增強59
3.3.1 有監(jiān)督數(shù)據(jù)增強60
3.3.2 無監(jiān)督數(shù)據(jù)增強63
3.4 數(shù)據(jù)的收集與標(biāo)注65
3.4.1 數(shù)據(jù)收集65
3.4.2 數(shù)據(jù)標(biāo)注67
3.4.3 數(shù)據(jù)清洗與整理68
第4章 圖像分類70
4.1 圖像分類基礎(chǔ)70
4.1.1 圖像分類問題70
4.1.2 深度學(xué)習(xí)圖像分類發(fā)展簡史72
4.1.3 評測指標(biāo)與優(yōu)化目標(biāo)75
4.1.4 圖像分類的挑戰(zhàn)76
4.2 移動端實時表情分類實戰(zhàn)77
4.2.1 項目背景78
4.2.2 數(shù)據(jù)預(yù)處理80
4.2.3 項目方案82
4.2.4 模型訓(xùn)練與測試84
4.2.5 項目總結(jié)88
4.3 細(xì)粒度圖像分類實戰(zhàn)89
4.3.1 項目背景89
4.3.2 項目方案90
4.3.3 模型訓(xùn)練與測試92
4.3.4 參數(shù)調(diào)試97
4.3.5 項目總結(jié)102
第5章 圖像分割103
5.1 傳統(tǒng)圖像分割方法103
5.1.1 閾值法103
5.1.2 區(qū)域生長法與超像素105
5.1.3 圖切割105
5.1.4 活動輪廓模型106
5.2 深度學(xué)習(xí)圖像分割109
5.2.1 基本流程110
5.2.2 反卷積110
5.2.3 多尺度與感受野112
5.2.4 CRF方法113
5.2.5 Image Matting與圖像融合114
5.3 移動端實時圖像分割項目115
5.3.1 項目背景115
5.3.2 項目方案116
5.3.3 模型訓(xùn)練與總結(jié)126
5.4 一個實時肖像換背景項目127
5.4.1 項目背景127
5.4.2 項目方案128
5.4.3 模型訓(xùn)練與測試134
5.4.4 項目總結(jié)138
第6章 目標(biāo)檢測139
6.1 目標(biāo)檢測基礎(chǔ)139
6.1.1 檢測窗口選擇140
6.1.2 特征提取141
6.1.3 分類器142
6.1.4 V-J人臉檢測算法143
6.2 深度學(xué)習(xí)目標(biāo)檢測方法145
6.2.1 Selective search與R-CNN146
6.2.2 RoI Pooling與SPPNet147
6.2.3 Fast R-CNN與Faster R-CNN149
6.2.4 YOLO方法152
6.2.5 SSD方法154
6.2.6 目標(biāo)檢測中的關(guān)鍵技術(shù)155
6.3 實戰(zhàn)Faster-R-CNN目標(biāo)檢測157
6.3.1 項目背景157
6.3.2 py-faster-rcnn框架解讀157
6.3.3 模型定義與分析170
6.3.4 模型訓(xùn)練與測試180
6.3.5 項目總結(jié)183
第7章 數(shù)據(jù)與模型可視化185
7.1 數(shù)據(jù)可視化185
7.1.1 低維數(shù)據(jù)可視化185
7.1.2 高維數(shù)據(jù)可視化187
7.2 模型可視化190
7.2.1 模型結(jié)構(gòu)可視化190
7.2.2 模型權(quán)重可視化198
7.2.3 特征圖可視化201
7.3 可視化案例202
7.3.1 項目背景202
7.3.2 數(shù)據(jù)接口定義204
7.3.3 網(wǎng)絡(luò)結(jié)構(gòu)定義205
7.3.4 可視化代碼添加207
7.3.5 可視化訓(xùn)練指標(biāo)207
第8章 模型壓縮209
8.1 模型壓縮方法209
8.1.1 模型設(shè)計壓縮210
8.1.2 網(wǎng)絡(luò)剪枝與量化213
8.1.3 張量分解216
8.1.4 模型蒸餾與遷移學(xué)習(xí)216
8.2 模型壓縮實戰(zhàn)218
8.2.1 網(wǎng)絡(luò)分析220
8.2.2 輸入尺度和第一層卷積設(shè)計224
8.2.3 網(wǎng)絡(luò)寬度與深度壓縮226
8.2.4 彌補通道損失228
8.2.5 總結(jié)230
第9章 損失函數(shù)231
9.1 分類任務(wù)損失231
9.1.1 什么是0-1 loss231
9.1.2 熵與交叉熵loss231
9.1.3 softmax loss及其變種232
9.1.4 KL散度237
9.1.5 Hinge loss簡介237
9.1.6 Exponential loss與Logistic loss237
9.1.7 多標(biāo)簽分類任務(wù)loss238
9.2 回歸任務(wù)損失238
9.2.1 L1 loss與L2 loss238
9.2.2 L1 loss與L2 loss的改進239
9.3 常見圖像任務(wù)與loss使用240
9.3.1 圖像基礎(chǔ)任務(wù)240
9.3.2 風(fēng)格化與圖像復(fù)原，超分辨重建240
9.3.3 生成對抗網(wǎng)絡(luò)241
9.3.4 總結(jié)245
第10章 模型部署與上線246
10.1 微信小程序前端開發(fā)246
10.1.1 小程序的技術(shù)特點與定位246
10.1.2 Web前端基礎(chǔ)248
10.1.3 小程序開發(fā)工具251
10.1.4 小程序前端目錄252
10.1.5 小程序前端開發(fā)254
10.2 微信小程序服務(wù)端開發(fā)260
10.2.1 域名注冊與管理260
10.2.2 服務(wù)端框架簡介261
10.2.3 算法搭建與實現(xiàn)262
10.3 Caffe環(huán)境配置264
10.3.1 依賴庫安裝264
10.3.2 Caffe編譯安裝266