日本熟女色网视频,亚洲国产福利97野狼第一精品

本書(shū)對(duì)優(yōu)化算法的理論和研究進(jìn)展進(jìn)行了系統(tǒng)的梳理，旨在幫助讀者快速了解該領(lǐng)域的發(fā)展脈絡(luò)，掌握必要的基礎(chǔ)知識(shí)，進(jìn)而推進(jìn)前沿研究工作。本書(shū)首先介紹流行的機(jī)器學(xué)習(xí)模式，對(duì)重要的優(yōu)化理論進(jìn)行回顧，接著重點(diǎn)討論已廣泛應(yīng)用于優(yōu)化的算法，以及有潛力應(yīng)用于大規(guī)模機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的算法，包括一階方法、隨機(jī)優(yōu)化方法、隨機(jī)和分布式方法、非凸隨機(jī)優(yōu)化方法、無(wú)投影方法、算子滑動(dòng)和分散方法等。
本書(shū)適合對(duì)機(jī)器學(xué)習(xí)、人工智能和數(shù)學(xué)編程感興趣的讀者閱讀參考。

前　言Firstorder and Stochastic Optimization Methods for Machine Learning在數(shù)據(jù)科學(xué)中，優(yōu)化從一開(kāi)始就扮演著重要的角色，許多統(tǒng)計(jì)和機(jī)器學(xué)習(xí)模型的分析與求解方法都依賴(lài)于優(yōu)化。近年來(lái)學(xué)界對(duì)計(jì)算數(shù)據(jù)分析中的優(yōu)化興趣激增，相關(guān)研究也面臨著一些重大挑戰(zhàn)：在所研究的問(wèn)題中，常常會(huì)遇到高維度、龐大的數(shù)據(jù)量、固有的不確定性以及幾乎不可避免的非凸性等問(wèn)題；同時(shí)，越來(lái)越多的問(wèn)題有實(shí)時(shí)求解的需求，還有許多問(wèn)題有在分布式環(huán)境下處理的需求。所有這些都成為當(dāng)前優(yōu)化方法論發(fā)展中面臨的重大障礙。
在過(guò)去10年左右的時(shí)間里，人們?cè)谠O(shè)計(jì)和分析優(yōu)化算法來(lái)解決這些挑戰(zhàn)方面取得了重要的進(jìn)展。然而，相關(guān)工作分散在大量不同學(xué)科和方向的文獻(xiàn)中。由于對(duì)這些進(jìn)展缺乏系統(tǒng)的梳理，年輕的研究人員要涉足這一領(lǐng)域也就十分困難。他們需要建立必要的基礎(chǔ)，了解相關(guān)發(fā)展的現(xiàn)狀，進(jìn)而推動(dòng)這一令人興奮的研究領(lǐng)域的前沿工作。在本書(shū)中，我試圖把近的這些進(jìn)展以一種比較有條理的方式展現(xiàn)出來(lái)，主要關(guān)注的是已被廣泛應(yīng)用于優(yōu)化的算法，或（在我看來(lái)）未來(lái)有潛力應(yīng)用于大規(guī)模機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的算法。這些算法包括相當(dāng)多的一階方法、隨機(jī)優(yōu)化方法、隨機(jī)和分布式方法、非凸隨機(jī)優(yōu)化方法、無(wú)投影方法以及算子滑動(dòng)和分散方法等。我的目的是介紹能夠在不同場(chǎng)合提供性能保證的基本算法方案。在討論這些算法之前，先簡(jiǎn)要介紹了一些流行的機(jī)器學(xué)習(xí)模型以啟發(fā)讀者，同時(shí)，也對(duì)一些重要的優(yōu)化理論進(jìn)行了回顧，為讀者特別是初學(xué)者提供良好的理論基礎(chǔ)。
本書(shū)適合對(duì)優(yōu)化方法及其在機(jī)器學(xué)習(xí)或機(jī)器智能中的應(yīng)用感興趣的研究生和高年級(jí)本科生閱讀，也可以供資深的研究人員參考。這本書(shū)的初稿已被佐治亞理工學(xué)院用作高年級(jí)本科生和博士生的參考資料。對(duì)于高年級(jí)本科生一個(gè)學(xué)期的課程，我建議學(xué)習(xí)內(nèi)容涵蓋1.1、1.2、1.4～1.7、2.1、2.2、3.1、3.2、4.1和7.1節(jié)，并鼓勵(lì)學(xué)生完成一個(gè)課程項(xiàng)目。對(duì)于博士生一個(gè)學(xué)期的課程，我建議包括1.1～1.7、2.1～2.4、3.1～3.6、4.1～4.3、5.1、5.3、5.4、6.1～6.5和7.1～7.4節(jié)，并鼓勵(lì)學(xué)生閱讀和討論本書(shū)中或文獻(xiàn)中未涉及的材料。
本書(shū)中所選的很多材料都來(lái)自我們?cè)谶^(guò)去幾年里的研究工作。非常感謝我的博士導(dǎo)師、已畢業(yè)的博士生、博士后和其他合作者。衷心感謝Arkadi Nemirovski，他指導(dǎo)我走過(guò)了學(xué)術(shù)生涯的不同階段，成就了今天的我。Alex Shapiro對(duì)本書(shū)的寫(xiě)作提供了很多指導(dǎo)，并不斷提醒我進(jìn)度。如果沒(méi)有他的鼓勵(lì)，我可能已經(jīng)放棄了這一努力。非常感謝Renato Monteiro的善良和支持。本書(shū)的寫(xiě)作過(guò)程也讓我重溫了與合作者共同工作時(shí)的愉快記憶，包括一些非常敬業(yè)的同事，如Yunmei Chen和Hongchao Zhang，還有一些非常有才華的已畢業(yè)的學(xué)生和博士后，如Cong Dang、Qi Deng、Saeed Ghadimi、Soomin Lee、Yuyuan Ouyang、Wei Zhang和Yi Zhou。非常幸運(yùn)的是，我現(xiàn)在的學(xué)生也抽出時(shí)間來(lái)幫助我做了一些工作。

Guanghui Lan
2019年5月于亞特蘭大

目　錄Firstorder and Stochastic Optimization Methods for Machine Learning譯者序
前言第1章　機(jī)器學(xué)習(xí)模型 1　1.1　線性回歸1
　1.2　邏輯回歸3
　1.3　廣義線性模型5
　　1.3.1　指數(shù)分布族5
　　1.3.2　模型構(gòu)建5
　1.4　支持向量機(jī)8
　1.5　正則化、Lasso回歸和
嶺回歸11
　1.6　群體風(fēng)險(xiǎn)小化11
　1.7　神經(jīng)網(wǎng)絡(luò)12
　1.8　練習(xí)和注釋14第2章　凸優(yōu)化理論15　2.1　凸集15
　　2.1.1　定義和例子15
　　2.1.2　凸集上的投影16
　　2.1.3　分離定理17
　2.2　凸函數(shù)20
　　2.2.1　定義和例子20
　　2.2.2　可微凸函數(shù)21
　　2.2.3　不可微凸函數(shù)21
　　2.2.4　凸函數(shù)的Lipschitz
連續(xù)性23
　　2.2.5　凸優(yōu)化的性條件24
　　2.2.6　表示定理與核25
　2.3　拉格朗日對(duì)偶26
　　2.3.1　拉格朗日函數(shù)與
對(duì)偶性26
　　2.3.2　強(qiáng)對(duì)偶性的證明27
　　2.3.3　鞍點(diǎn)29
　　2.3.4　KarushKuhnTucker
條件29
　　2.3.5　對(duì)偶支持向量機(jī)31
　2.4　LegendreFenchel共軛對(duì)偶32
　　2.4.1　凸函數(shù)的閉包32
　　2.4.2　共軛函數(shù)33
　2.5　練習(xí)和注釋35第3章　確定性凸優(yōu)化37　3.1　次梯度下降法37
　　3.1.1　一般非光滑凸問(wèn)題38
　　3.1.2　非光滑強(qiáng)凸問(wèn)題39
　　3.1.3　光滑凸問(wèn)題41
　　3.1.4　光滑強(qiáng)凸問(wèn)題42
　3.2　鏡面下降法43
　3.3　加速梯度下降法46
　3.4　加速梯度下降法的博弈論
解釋50
　3.5　非光滑問(wèn)題的光滑方案52
　3.6　鞍點(diǎn)優(yōu)化的原始-對(duì)偶方法54
　　3.6.1　一般雙線性鞍點(diǎn)問(wèn)題57
　　3.6.2　光滑雙線性鞍點(diǎn)問(wèn)題57
　　3.6.3　光滑強(qiáng)凸雙線性鞍點(diǎn)
問(wèn)題58
　　3.6.4　線性約束問(wèn)題59
　3.7　乘子交替方向法61
　3.8　變分不等式的鏡面-鄰近
方法63
　　3.8.1　單調(diào)變分不等式64
　　3.8.2　廣義單調(diào)變分不等式66
　3.9　加速水平法68
　　3.9.1　非光滑、光滑和弱光滑
問(wèn)題68
　　3.9.2　鞍點(diǎn)問(wèn)題76
　3.10　練習(xí)和注釋81第4章　隨機(jī)凸優(yōu)化83　4.1　隨機(jī)鏡面下降法83
　　4.1.1　一般非光滑凸函數(shù)84
　　4.1.2　光滑凸問(wèn)題87
　　4.1.3　準(zhǔn)確性證書(shū)90
　4.2　隨機(jī)加速梯度下降法95
　　4.2.1　無(wú)強(qiáng)凸性問(wèn)題100
　　4.2.2　非光滑強(qiáng)凸問(wèn)題103
　　4.2.3　光滑強(qiáng)凸問(wèn)題104
　　4.2.4　準(zhǔn)確性證書(shū)109
　4.3　隨機(jī)凹凸鞍點(diǎn)問(wèn)題111
　　4.3.1　通用算法框架112
　　4.3.2　極小極大隨機(jī)問(wèn)題115
　　4.3.3　雙線性矩陣博弈117
　4.4　隨機(jī)加速原始-對(duì)偶方法119
　　4.4.1　加速原始-對(duì)偶方法121
　　4.4.2　隨機(jī)雙線性鞍點(diǎn)問(wèn)題129
　4.5　隨機(jī)加速鏡面-鄰近方法140
　　4.5.1　算法框架141
　　4.5.2　收斂性分析142
　4.6　隨機(jī)塊鏡面下降方法154
　　4.6.1　非光滑凸優(yōu)化155
　　4.6.2　凸復(fù)合優(yōu)化164
　4.7　練習(xí)和注釋171第5章　凸有限和及分布式
優(yōu)化173　5.1　隨機(jī)原始-對(duì)偶梯度法173
　　5.1.1　多人共軛空間博弈的
重新表述176
　　5.1.2　梯度計(jì)算的隨機(jī)化177
　　5.1.3　強(qiáng)凸問(wèn)題的收斂性179
　　5.1.4　隨機(jī)化方法的復(fù)雜度
下界189
　　5.1.5　對(duì)非強(qiáng)凸性問(wèn)題的
推廣193
　5.2　隨機(jī)梯度外插法197
　　5.2.1　梯度外插方法198
　　5.2.2　確定性有限和問(wèn)題204
　　5.2.3　隨機(jī)有限和問(wèn)題213
　　5.2.4　分布式實(shí)現(xiàn)218
　5.3　降低方差的鏡面下降法220
　　5.3.1　無(wú)強(qiáng)凸性的光滑問(wèn)題223
　　5.3.2　光滑和強(qiáng)凸問(wèn)題225
　5.4　降低方差加速梯度下降法226
　　5.4.1　無(wú)強(qiáng)凸性的光滑問(wèn)題229
　　5.4.2　光滑和強(qiáng)凸問(wèn)題233
　　5.4.3　滿足錯(cuò)誤界條件的
問(wèn)題238
　5.5　練習(xí)和注釋240第6章　非凸優(yōu)化241　6.1　無(wú)約束非凸隨機(jī)優(yōu)化法241
　　6.1.1　隨機(jī)一階方法243
　　6.1.2　隨機(jī)零階方法251
　6.2　非凸隨機(jī)復(fù)合優(yōu)化法260
　　6.2.1　鄰近映射的一些性質(zhì)261
　　6.2.2　非凸鏡面下降法263
　　6.2.3　非凸隨機(jī)鏡面下降法264
　　6.2.4　復(fù)合問(wèn)題的隨機(jī)零階
方法275
　6.3　非凸隨機(jī)塊鏡面下降法279
　6.4　非凸隨機(jī)加速梯度下降法286
　　6.4.1　非凸加速梯度下降法287
　　6.4.2　隨機(jī)加速梯度下降法298
　6.5　非凸降低方差鏡面下降法310
　　6.5.1　確定性問(wèn)題的基本
求解方案310
　　6.5.2　隨機(jī)優(yōu)化問(wèn)題的推廣313
　6.6　隨機(jī)化加速鄰近點(diǎn)方法316
　　6.6.1　非凸有限和問(wèn)題317
　　6.6.2　非凸多塊問(wèn)題327
　6.7　練習(xí)和注釋337第7章　無(wú)投影方法 338　7.1　條件梯度法338
　　7.1.1　經(jīng)典條件梯度

你還可能感興趣

我要評(píng)論