凸優(yōu)化:算法與復(fù)雜性(專門為計算機科學(xué)家打造)
定 價:59 元
叢書名:華章數(shù)學(xué)譯叢
- 作者:[美]塞巴斯蒂安·布貝克(Sébastien Bubeck
- 出版時間:2021/6/1
- ISBN:9787111683513
- 出 版 社:機械工業(yè)出版社
- 中圖法分類:O174.13
- 頁碼:136
- 紙張:
- 版次:
- 開本:16開
本書介紹了凸優(yōu)化中的主要復(fù)雜性定理及其相應(yīng)的算法。從黑箱優(yōu)化的基本理論出發(fā),內(nèi)容材料是朝著結(jié)構(gòu)優(yōu)化和隨機優(yōu)化的新進(jìn)展。我們對黑箱優(yōu)化的介紹,深受Nesterov的開創(chuàng)性著作和Nemirovski講稿的影響,包括對切割平面方法的分析,以及(加速)梯度下降方案。我們還特別關(guān)注非歐幾里德的情況(相關(guān)算法包括Frank Wolfe、鏡像下降和對偶平均法),并討論它們在機器中的相關(guān)性學(xué)習(xí)。我們慢慢的介紹了FISTA(優(yōu)化一個光滑項和一個簡單的非光滑項的和)、鞍點鏡像代理(Nemirovski平滑替代Nesterov的光滑)和一個對內(nèi)點方法的簡明描述。在隨機優(yōu)化中,我們討論了隨機梯度下降、小批量、隨機坐標(biāo)下降和次線性算法。我們還簡單地討論了組合問題的凸松弛和隨機性對取整(四舍五入)解的使用,以及基于隨機游動的方法。
譯者序
致謝
第1章緒論1
11機器學(xué)習(xí)中的若干凸優(yōu)化問題1
12凸性的基本性質(zhì)3
13凸性的作用5
14黑箱模型7
15結(jié)構(gòu)性優(yōu)化8
16結(jié)果的概述和免責(zé)聲明9
第2章有限維的凸優(yōu)化12
21重心法12
22橢球法14
23Vaidya割平面法18
231體積障礙19
232Vaidya算法20
233Vaidya方法分析20
234限制條件和體積障礙22
24共軛梯度26
第3章維度無關(guān)的凸優(yōu)化30
31Lipschitz函數(shù)的投影次梯度下降31
32光滑函數(shù)的梯度下降33
33條件梯度下降39
34強凸性43
341 強凸函數(shù)和Lipschitz函數(shù)44
342強凸光滑函數(shù)45
35下限47
36幾何下降52
361熱身賽:梯度下降的幾何學(xué)替代方案53
362加速度55
363幾何下降法56
37Nesterov加速梯度下降58
371光滑強凸情況58
372光滑的情況62
第4章非歐氏空間幾乎維度無關(guān)的凸優(yōu)化65
41鏡像映射66
42鏡像下降67
43鏡像下降的標(biāo)準(zhǔn)設(shè)置70
44惰性鏡像下降72
45鏡像代理74
46關(guān)于MD、DA和MP的向量場觀點76
第5章超越黑箱模型78
51光滑項與簡單非光滑項之和78
52非光滑函數(shù)的光滑鞍點表示80
521鞍點計算81
522鞍點鏡像下降82
523鞍點鏡像代理83
524應(yīng)用84
53內(nèi)點法87
531障礙法87
532牛頓法的傳統(tǒng)分析88
533自和諧函數(shù)90
534ν自和諧障礙92
535路徑跟蹤方案95
536線性規(guī)劃和半定規(guī)劃的內(nèi)點法96
第6章凸優(yōu)化與隨機性98
61非光滑隨機優(yōu)化99
62光滑隨機優(yōu)化與小批量SGD100
63光滑函數(shù)與強凸函數(shù)的和103
64隨機坐標(biāo)下降107
641坐標(biāo)平滑優(yōu)化的RCD算法108
642用于光滑和強凸優(yōu)化的RCD110
65鞍點的隨機加速112
66凸松弛與隨機取整113
67基于隨機游動的方法117
參考文獻(xiàn)120