本書提供了凸優(yōu)化一個全面的、*新的介紹,這是一個日益重要的領域,在應用數(shù)學、經(jīng)濟和金融、工程和計算機科學,特別是在數(shù)據(jù)科學和機器學習領域有廣泛應用。
譯者序
前言
致謝
引言
第一部分黑箱優(yōu)化
第1章非線性優(yōu)化
11非線性優(yōu)化引論
111問題的一般描述
112數(shù)值方法的性能
113全局優(yōu)化的復雜度界
114優(yōu)化領域的“身份證”
12無約束極小化的局部算法
121松弛和近似
122可微函數(shù)類
123梯度法
124牛頓法
13非線性優(yōu)化中的一階方法
131梯度法和牛頓法有何不同
132共軛梯度法
133約束極小化問題
第2章光滑凸優(yōu)化
21光滑函數(shù)的極小化
211光滑凸函數(shù)
212函數(shù)類F∞,1L(n)的復雜度下界
213強凸函數(shù)類
214函數(shù)類S∞,1μ,L(n)的復雜度下界
215梯度法
22最優(yōu)算法
221估計序列
222降低梯度的范數(shù)
223凸集
224梯度映射
225簡單集上的極小化問題
23具有光滑分量的極小化問題
231極小極大問題
232梯度映射
233極小極大問題的極小化方法
234帶有函數(shù)約束的優(yōu)化問題
235約束極小化問題的算法
第3章非光滑凸優(yōu)化
31一般凸函數(shù)
311動機和定義
312凸函數(shù)運算
313連續(xù)性和可微性
314分離定理
315次梯度
316次梯度計算
317最優(yōu)性條件
318極小極大定理
319原始對偶算法的基本要素
32非光滑極小化方法
321一般復雜度下界
322估計近似解性能
323次梯度算法
324函數(shù)約束的極小化問題
325最優(yōu)拉格朗日乘子的近似
326強凸函數(shù)
327有限維問題的復雜度界
328割平面算法
33完整數(shù)據(jù)的算法
331目標函數(shù)的非光滑模型
332Kelley算法
333水平集法
334約束極小化問題
第4章二階算法
41牛頓法的三次正則化
411二次逼近的三次正則化
412一般收斂性結(jié)果
413具體問題類的全局效率界
414實現(xiàn)問題
415全局復雜度界
42加速的三次牛頓法
421實向量空間
422一致凸函數(shù)
423牛頓迭代的三次正則化
424一個加速算法
425二階算法的全局非退化性
426極小化強凸函數(shù)
427偽加速
428降低梯度的范數(shù)
429非退化問題的復雜度
43最優(yōu)二階算法
431復雜度下界
432一個概念性最優(yōu)算法
433搜索過程的復雜度
44修正的高斯牛頓法
441高斯牛頓迭代的二次正則化
442修正的高斯牛頓過程
443全局收斂速率
444討論
第二部分結(jié)構(gòu)優(yōu)化
第5章多項式時間內(nèi)點法
51自和諧函數(shù)
511凸優(yōu)化中的黑箱概念
512牛頓法實際上做什么
513自和諧函數(shù)的定義
514主要不等式
515自和諧性和Fenchel對偶
52自和諧函數(shù)極小化
521牛頓法的局部收斂性
522路徑跟蹤算法
523強凸函數(shù)極小化
53自和諧障礙函數(shù)
531研究動機
532自和諧障礙函數(shù)的定義
533主要不等式
534路徑跟蹤算法
535確定解析中心
536函數(shù)約束問題
54顯式結(jié)構(gòu)問題的應用
541自和諧障礙函數(shù)參數(shù)的下界
542上界:通用障礙函數(shù)和極集
543線性和二次優(yōu)化
544半定優(yōu)化
545極端橢球
546構(gòu)造凸集的自和諧障礙函數(shù)
547自和諧障礙函數(shù)的例子
548可分優(yōu)化
549極小化算法的選擇
第6章目標函數(shù)的原始對偶模型
61目標函數(shù)顯式模型的光滑化
611不可微函數(shù)的光滑近似
612目標函數(shù)的極小極大模型
613合成極小化問題的快速梯度法
614應用實例
615算法實現(xiàn)的討論
62非光滑凸優(yōu)化的過間隙技術(shù)
621原始對偶問題的結(jié)構(gòu)
622過間隙條件
623收斂性分析
624極小化強凸函數(shù)
63半定優(yōu)化中的光滑化技術(shù)
631光滑化特征值的對稱函數(shù)
632極小化對稱矩陣的最大特征值
64目標函數(shù)的局部模型極小化
641Oracle線性優(yōu)化
642合成目標函數(shù)的條件梯度算法
643收縮型條件梯度
644原始對偶解的計算
645合成項的強凸性
646極小化二次模型
第7章相對尺度優(yōu)化
71目標函數(shù)的齊次模型
711圓錐無約束極小化問題
712次梯度近似算法
713問題結(jié)構(gòu)的直接使用
714應用實例
72凸集的近似
721計算近似橢球
722極小化線性函數(shù)的最大絕對值
723具有非負元素的雙線性矩陣博弈
724極小化對稱矩陣的譜半徑
73障礙函數(shù)次梯度算法
731自和諧障礙函數(shù)的光滑化
732障礙函數(shù)次梯度法
733正凹函數(shù)極大化
734應用
735隨機規(guī)劃的替代——在線優(yōu)化
74混合精度優(yōu)化
741嚴格正函數(shù)
742擬牛頓法
743近似解的解釋
附錄A求解一些輔助優(yōu)化問題
參考文獻評注
參考文獻
索引