目錄
序
前言
第一章 緒論 1
1.1 最優(yōu)化問題的分類 1
1.1.1 無約束和約束最優(yōu)化問題 2
1.1.2 線性和非線性規(guī)劃問題 2
1.1.3 凸和非凸優(yōu)化問題 3
1.1.4 連續(xù)和離散優(yōu)化問題 3
練習(xí) 3
1.2 機(jī)器學(xué)習(xí)中的典型優(yōu)化問題 3
1.2.1 最小二乘線性回歸 3
1.2.2 LASSO 7
1.2.3 支持向量機(jī) 8
1.2.4 多層感知機(jī) 25
練習(xí) 31
第2章 凸分析 33
2.1 酸 33
2.1.1 仿射集 33
2.1.2 凸集 37
2.1.3 分離定理 40
2.1.4 凸錐 43
練習(xí) 48
2.2 凸函數(shù) 50
2.2.1 下半連續(xù)性與可微性 50
2.2.2 凸函數(shù)及其基本性質(zhì) 56
2.2.3 嚴(yán)格凸函數(shù)與強(qiáng)凸函數(shù) 60
2.2.4 凸函數(shù)的判定 62
2.2.5 共軛函數(shù) 66
練習(xí) 71
2.3 凸函數(shù)的次微分 75
2.3.1 示性函數(shù)與支撐函數(shù) 75
2.3.2 次微分定義、一階最優(yōu)性條件 77
2.3.3 次微分與方向?qū)��?shù) 78
2.3.4 次微分的常用性質(zhì) 81
2.3.5 次微分的單調(diào)性與閉性 84
練習(xí) 85
第3章 最優(yōu)性條件 87
3.1 對(duì)偶問題 89
練習(xí) 98
3.2 鞍點(diǎn)定理與KKT條件 103
練習(xí) 111
第4章 最優(yōu)化計(jì)算 112
4.1 無約束優(yōu)化算法的一般步驟 112
練習(xí) 114
4.2 梯度下降法 115
練習(xí) 119
4.3 次梯度算法 121
4.3.1 次梯度算法結(jié)構(gòu) 121
4.3.2 收斂性分析 121
練習(xí) 125
4.4 線性搜索 126
4.4.1 精確線性搜索 127
4.4.2 非精確線性搜索 129
練習(xí) 131
4.5 牛頓法 132
練習(xí) 138
4.6 拉格朗日乘子法 139
4.6.1 等式約束最優(yōu)化問題 141
4.6.2 一般形式優(yōu)化問題 146
練習(xí) 150
第5章 機(jī)器學(xué)習(xí)中的鄰近算法 153
5.1 鄰近算子 153
5.1.1 投影算子與隱式梯度下降法 154
5.1.2 鄰近算子與莫羅包絡(luò) 155
5.1.3 咎范數(shù)的鄰近算子 161
5.1.4 MCP的鄰近算子 168
5.1.5 Log-sum函數(shù)的鄰近算子 170
5.1.6 核范數(shù)的鄰近算子 173
練習(xí) 175
5.2 鄰近算法 177
5.2.1 迭代閾值收縮算法 177
5.2.2 加速的迭代閾值收縮算法 180
5.2.3 交替方向乘子法 182
5.2.4 案例 184
練習(xí) 190
第6章 應(yīng)用 191
6.1 壓縮感知 191
6.1.1 壓縮感知的模型 192
6.1.2 壓縮感知的算法 193
6.2 低秩矩陣恢復(fù) 203
6.2.1 低秩矩陣的模型 203
6.2.2 低秩矩陣的算法 204
6.3 圖像修復(fù) 206
6.3.1 圖像修復(fù)的模型 206
6.3.2 圖像修復(fù)的算法 208
參考文獻(xiàn) 213