本書通過魯棒優(yōu)化的核心原理和應(yīng)用,揭開不確定性的神秘面紗,為讀者提供應(yīng)對不可預(yù)測的挑戰(zhàn)所需的見解和工具。作者首先簡要介紹了不確定線性規(guī)劃,然后深入分析了適當(dāng)不確定性集的構(gòu)建與經(jīng)典機會約束(概率)方法之間的相互聯(lián)系。接著,提出了針對不確定的錐二次優(yōu)化和半定優(yōu)化問題以及動態(tài)(多階段)問題的魯棒優(yōu)化理論。最后,通過來自金融、物流和工程等不同領(lǐng)域的真實案例研究說明了魯棒優(yōu)化的多功能性和相關(guān)性。本書是從事不確定性優(yōu)化和決策工作的人員的書籍,也是該方向很好的研究生教科書。
在數(shù)學(xué)學(xué)科領(lǐng)域,魯棒優(yōu)化與凸優(yōu)化、分式優(yōu)化、多目標(biāo)優(yōu)化等優(yōu)化理論具有相同的重要地位。在經(jīng)濟(jì)、人工智能、通信、信號處理、電氣自動化等領(lǐng)域,做出穩(wěn)健的決策和得到可靠的分析結(jié)果至關(guān)重要。然而,隨著影響決策和分析結(jié)果的因素不斷增加,決策的穩(wěn)健性和分析結(jié)果的可靠性難以保證。魯棒優(yōu)化為獲得穩(wěn)健決策和可靠分析結(jié)果提供了數(shù)學(xué)理論基礎(chǔ),在經(jīng)濟(jì)、人工智能、通信、信號處理、電氣自動化等領(lǐng)域的作用和重要性日益凸顯。目前國內(nèi)有凸優(yōu)化、分式優(yōu)化和多目標(biāo)優(yōu)化相關(guān)書籍。但至今,還未出版一本系統(tǒng)性和權(quán)威性的魯棒優(yōu)化書籍。隨著魯棒優(yōu)化重要性不斷增加,亟須出版一本魯棒優(yōu)化書籍。魯棒優(yōu)化為求解受不確定性影響的優(yōu)化問題提供了理論和方法,已經(jīng)在實際應(yīng)用中被證明非常有用。本書由魯棒優(yōu)化的理論奠基人所寫,是一本全面講述魯棒優(yōu)化的書。
前言
不確定讓人不舒服,可確定又是荒謬的。
——諺語
這本書致力于討論魯棒優(yōu)化——一種用于處理不確定數(shù)據(jù)優(yōu)化問題的特定及相對新穎的方法。此前言的第一個目標(biāo)是讓讀者更清楚地理解以下兩個問題:
●什么是數(shù)據(jù)不確定性,以及為什么要專門對它進(jìn)行處理?
●在魯棒優(yōu)化中如何處理這一現(xiàn)象,以及這種處理方法和那些對不確定數(shù)據(jù)進(jìn)行處理的傳統(tǒng)方法相比如何?
第二個目標(biāo)是概述本書主題以及描述相關(guān)內(nèi)容。
A. 優(yōu)化中的數(shù)據(jù)不確定性
在本書中,我們打算解決的第一個問題是潛在現(xiàn)象(數(shù)據(jù)不確定性)是否值得專門處理。為了回答這個問題,考慮一個簡單的示例——來自著名的NETLIB庫中的問題PILOT4。這是一個線性規(guī)劃問題,具有1000個變量和410個約束條件,其中一個約束條件(#372)是
aTx≡-1579081x826-8598819x827-188789x828-1362417x829-1526049x830-
0031883x849-28725555x850-10792065x851-019004x852-2757176x853-
12290832x854+717562256x855-0057865x856-3785417x857-7830661x858-
122163055x859-646609x860-048371x861-0615264x862-1353783x863-
84644257x864-122459045x865-4315593x866-1712592x870-0401597x871+
x880-0946049x898-0946049x916≥b≡23387405(C)
根據(jù)CPLEX報告,該問題的最優(yōu)解x*的相關(guān)非零坐標(biāo)如下:
x*826=2556112787181108x*827=6240488912232100x*828=3624613324098961
x*829=1820205065283259x*849=1743970389573037x*870=1425000176680900
x*871=2591000731692178x*880=1049583199274139
注意,機器保真度x*使式(C)為等式。
我們可以觀察到,式(C)中的大多數(shù)系數(shù)是“丑陋的實數(shù)”,如-1579081或-84644257。這類系數(shù)(PILOT4也不例外)通常描述某些技術(shù)設(shè)備/過程、預(yù)測未來需求等,因此很難確切地知道它們的值?梢院茏匀坏丶僭O(shè),“丑陋的實數(shù)”實際上是不確定的——它們與相應(yīng)數(shù)據(jù)的“真實”值相符,精度最多在3~4位之間。唯一例外的是x880的系數(shù)1,可以肯定的是,它可能反映了問題的結(jié)構(gòu),因此是嚴(yán)謹(jǐn)?shù)摹?br />假設(shè)a的不確定項是系數(shù)a~“真實”向量的未知項中精度為01%的近似值,讓我們看看這種不確定性在x*情況下對“真實”約束a~Tx≥b的影響是什么。情況如下:
●在系數(shù)a~與我們的不確定性為01%的假設(shè)相一致的所有向量中,a~Tx*-b的最小值<-1049;換句話說,對約束條件的違背達(dá)到不等式右側(cè)的45倍。
●將上述最壞情況下的違背視為“最差情況”(為什么所有不確定系數(shù)的真實值應(yīng)與式(C)中“最危險”的值不同?),考慮一種不那么極端的違背處理。具體來說,假設(shè)式(C)中不確定系數(shù)的真實值是通過隨機擾動aja~j=(1+ξj)aj從“標(biāo)準(zhǔn)值”[如式(C)所示]獲得的。aja~j=(1+ξj)aj在范圍為[-0001,0001]的“相對擾動”ξj上是獨立且均勻分布的。典型的相對違背可以定義如下:
V=maxb-a~Tx*b,0×100%
在x*下,“真實”(現(xiàn)在為隨機)約束a~Tx≥b的相對違背是多少?答案幾乎和最壞的情況一樣糟糕(見表1)。
表1PILOT4中約束372的相對違背(不確定數(shù)據(jù)中擾動為01%的1000個元素樣本)
Prob{V>0} Prob{V>150%} Mean(V)
0.50 0.18 125%
我們看到,“明顯不確定”的數(shù)據(jù)系數(shù)的擾動非常。▋H01%),這使得“標(biāo)準(zhǔn)”最優(yōu)解x*嚴(yán)重不可行,因此實際上毫無意義。
文獻(xiàn)\[7\]的“案例研究”報告中顯示,我們剛才描述的現(xiàn)象并不例外——在90個NETLIB線性規(guī)劃問題中,有13個“丑陋”系數(shù)的001%擾動導(dǎo)致某些約束違背,在標(biāo)準(zhǔn)最優(yōu)解中評估超過50%。在這13個問題中,有6個問題的約束違背幅度超過100%,在PILOT4(“冠軍”)中,其規(guī)模高達(dá)210000%,也就是說,達(dá)到數(shù)據(jù)中的相對擾動的7個數(shù)量級。
本書中介紹的應(yīng)用于NETLIB問題的技術(shù)可以使人們通過將標(biāo)準(zhǔn)最優(yōu)解傳遞給魯棒最優(yōu)解來消除前文所述的現(xiàn)象。在01%的不確定性下,對于NETLIB中的每一個問題,這種“對不確定性的免疫”(從標(biāo)準(zhǔn)解到魯棒解時目標(biāo)值的增加)的代價不到1%(詳情見文獻(xiàn)\[7\])。
從概述的案例研究和許多其他示例中可得出以下幾個觀察結(jié)果。
A.實際優(yōu)化問題的數(shù)據(jù)往往是不確定的——不知道問題解決時的確切時間。數(shù)據(jù)存在不確定性的原因包括:由于不可能準(zhǔn)確測量/估計代表物理系統(tǒng)/技術(shù)過程/環(huán)境條件等特征的數(shù)據(jù)項而產(chǎn)生的測量/估計錯誤等。
實現(xiàn)過程中的錯誤來自無法完全按照計算的方式實現(xiàn)解。例如,無論上述PILOT4中的標(biāo)準(zhǔn)解x*中的“實際”項是什么——物理系統(tǒng)的控制輸入、用于各種目的分配的資源等——很顯然它們無法達(dá)到與計算時相同的高精度。實現(xiàn)錯誤的影響,如x*j(1+j)x*j,就好像沒有實現(xiàn)錯誤一樣,但PILOT4約束中的系數(shù)aij受aij(1+j)aij的擾動。
B.在優(yōu)化的實際應(yīng)用中,人們不能忽視這樣一種可能性,即使數(shù)據(jù)中的一個小的不確定性,也有可能使標(biāo)準(zhǔn)最優(yōu)解在實際中失去意義。
C.因此,在優(yōu)化中,確實需要一種能夠在數(shù)據(jù)不確定情況下,檢測嚴(yán)重影響標(biāo)準(zhǔn)最優(yōu)解質(zhì)量的方法,并在這些情況下生成一個對數(shù)據(jù)不確定影響產(chǎn)生免疫的魯棒解。
魯棒優(yōu)化提供了滿足這種需求的方法,同時這也是本書的內(nèi)容。
B.魯棒優(yōu)化——范式
為了解釋魯棒優(yōu)化(RO)的范式,我們首先討論線性規(guī)劃的特殊案例——通用優(yōu)化問題,這可能是最知名以及在應(yīng)用中最常用的。除了它的重要性,這個通用問題也非常適合我們目前的目的,因為線性規(guī)劃(LP)程序minx{cTx:Ax≤b}的結(jié)構(gòu)和數(shù)據(jù)是清楚的。給定規(guī)劃的形式,結(jié)構(gòu)是約束矩陣A的大小,而數(shù)據(jù)則由(c,A,b)中的數(shù)值組成。在魯棒優(yōu)化中,將不確定LP問題定義為在給定不確定性集U中數(shù)據(jù)(c,A,b)變化的情況下,一種通用結(jié)構(gòu)的LP程序的集合{minx{cTx:Ax≤b}:(c,A,b)∈U}。后者總結(jié)了解決問題時可用的“真實”數(shù)據(jù)的所有信息。從概念上講,最重要的是要解決不確定LP問題意味著什么。這個問題的答案,正如魯棒優(yōu)化在其最基本的形式中所提及的,取決于三個隱含的“決策環(huán)境”假設(shè)。
A.1.決策向量x中的所有項都表示“此時此地”的決策:在實際數(shù)據(jù)“顯示”之前,它們應(yīng)作為解決問題的結(jié)果而獲得特定的數(shù)值。
A.2.當(dāng)且僅當(dāng)實際數(shù)據(jù)在預(yù)先指定的不確定性集U的范圍內(nèi)時,決策者對所做出決策的結(jié)果負(fù)責(zé)。
A.3 問題中不確定LP的約束是“嚴(yán)格的”——當(dāng)數(shù)據(jù)在U內(nèi)時,決策者不能容忍約束違背的行為。
這些假設(shè)直接決定了對不確定問題的“不確定性免疫”解的定義。事實上,根據(jù)A.1,這樣的解應(yīng)該是一個固定的向量,根據(jù)A2和A3,無論U內(nèi)的數(shù)據(jù)實現(xiàn)如何,這些約束條件都應(yīng)保持可行;我們稱其為魯棒可行解。因此,在我們的決策環(huán)境中,一個不確定問題有意義的解就是它的魯棒可行解。在這樣的解中,仍然需要決定如何解釋目標(biāo)的值(也可能是不確定的)。應(yīng)用到目標(biāo)時,“以最壞情況為導(dǎo)向”的理念使我們很自然地通過原始目標(biāo)的確定值來量化一個魯棒可行解的質(zhì)量,也就是通過它的最大sup{cTx:(c,A,b)∈U}。因此,最優(yōu)魯棒可行解就是解決下列優(yōu)化問題的可行解:
minxsup(c,A,b)∈UcTx:Ax≤b,(c,A,b)∈U
或者,以下優(yōu)化問題的可行解:
minx,t{t:cTx≤t,Ax≤b,(c,A,b)∈U}(RC)
后一個問題稱為原始不確定問題的魯棒對等(RC)。RC的可行/最優(yōu)解稱為不確定問題的魯棒可行/最優(yōu)解。魯棒優(yōu)化方法(在其最簡單的版本中)建議與一個不確定問題的魯棒對等相關(guān)聯(lián),并將魯棒最優(yōu)解作為我們“實際生活”的決策。
在這一點上,將RO范式與更傳統(tǒng)的方法進(jìn)行比較,特別是將優(yōu)化中的數(shù)據(jù)不確定性處理方法與隨機優(yōu)化和靈敏度分析進(jìn)行比較,是具有指導(dǎo)意義的。
魯棒優(yōu)化與隨機優(yōu)化。在隨機優(yōu)化(SO)中,不確定的數(shù)值數(shù)據(jù)被假定為隨機數(shù)據(jù)。在最簡單的情況下,這些隨機數(shù)據(jù)服從事先已知的概率分布,而在更高級的設(shè)置中,分布僅部分已知。一個不確定的LP問題再次與一個確定的對等問題相關(guān),特別是與下列機會約束問題相關(guān)機會約束的概念可以追溯到ACharnes、WWCopper和GHSymonds于1958年發(fā)表的論文(見文獻(xiàn)\[40\])。機會約束設(shè)置的另一種選擇是,我們希望在原始約束的某些部分中優(yōu)化目標(biāo)的期望值(后者可以包含違反不確定約束的懲罰項)。然而,這種方法關(guān)注的是“軟”約束,而我們主要感興趣的是硬約束。。
minx,t{t:Prob(c,A,b)~P{cTx≤t,Ax≤b}≥1-}(ChC)
其中<<1是給定的容差,P是數(shù)據(jù)(c,A,b)的分布。當(dāng)此分布僅部分已知時——眾所周知,P屬于數(shù)據(jù)空間上概率分布的給定集合P——上述設(shè)置被模糊的機會約束設(shè)置所取代,
minx,t{t:Prob(c,A,b)~P{cTx≤t,Ax≤b}≥1-,P∈P}(Amb)
SO方法似乎沒有面向最壞情況的RO方法保守。然而,這一結(jié)論的前提是,如果不確定數(shù)據(jù)確實具有隨機性,如果我們足夠聰明地指出相關(guān)的概率分布(或者至少是真實數(shù)據(jù)所屬的一個“狹窄”分布族),如果我們確實準(zhǔn)備接受由機會約束給出的概率保證。在信號處理、業(yè)務(wù)系統(tǒng)分析與綜合等應(yīng)用中,上述三個條件確實得到了滿足事實上,在這些領(lǐng)域中,隨機因素(如信號處理中的觀測噪聲或服務(wù)系統(tǒng)中的間隔/服務(wù)時間)具有隨機性質(zhì),其分布或多或少易于識別,尤其是當(dāng)我們有理由相信隨機數(shù)據(jù)下的不同組成部分(如觀測噪聲中的不同項,或單個到達(dá)間隔和服務(wù)時間)相互獨立時。在這種情況下,識別數(shù)據(jù)分布可簡化為識別一系列低維分布,這是相對容易的。此外,所討論的系統(tǒng)旨在長期為許多客戶提供服務(wù),因此概率保證是有意義的。例如,每天有成千上萬的用戶發(fā)送/接收電子郵件或聯(lián)系呼叫中心,對服務(wù)水平的概率描述(電子郵件丟失的概率,或因操作員的回應(yīng)時間很長而無法接受的概率)很有意義,從長遠(yuǎn)來看,一定比例的用戶/客戶會不滿意。。與此同時,在許多應(yīng)用中,上述三個“如果”都過于嚴(yán)格?紤]個別問題的測量/估計錯誤,例如PILOT4。即使假設(shè)為PILOT4準(zhǔn)備數(shù)據(jù)項確實涉及一些隨機的東西,我們也許可以考慮在給定真實數(shù)據(jù)的情況下標(biāo)準(zhǔn)數(shù)據(jù)的分布,而不
阿哈龍·本-塔爾(Aharon Ben-Tal) 以色列理工學(xué)院榮譽教授。研究領(lǐng)域:魯棒優(yōu)化、連續(xù)優(yōu)化。他獲得了眾多的榮譽和獎項,其中包括:2007年歐洲金獎,2009年美國運籌學(xué)和管理學(xué)研究協(xié)會會士,2015年美國工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會會士。
洛朗·艾爾·加豪伊(Laurent El Ghaoui) 加州大學(xué)伯克利分校教授。研究領(lǐng)域:魯棒優(yōu)化,機器學(xué)習(xí)和統(tǒng)計。他于1998年獲得法國國家科學(xué)研究院頒發(fā)的銅牌獎?wù);?000年獲得美國國家科學(xué)基金會頒發(fā)的杰出青年學(xué)者成就獎(CAREER);于2001年獲得大川情報通信基金頒發(fā)的大川研究助成獎(Okawa Foundation Research Grant);于2008年獲得美國工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會頒發(fā)的SIAM活動組優(yōu)化獎(Activity Group Optimization Prize)。
阿爾卡迪·涅米洛夫斯基(Arkadi Nemirovski) 美國國家工程院院士、美國藝術(shù)與科學(xué)學(xué)院院士和美國國家科學(xué)院院士,F(xiàn)為佐治亞理工學(xué)院教授。研究領(lǐng)域:凸優(yōu)化、非參數(shù)統(tǒng)計、運籌學(xué)與管理學(xué)。為表彰他對以上領(lǐng)域做出的貢獻(xiàn),先后獲得富爾克森獎(1982年)、丹齊克獎(1991年)、維納應(yīng)用數(shù)學(xué)獎(2019年)、約翰·馮·諾伊曼理論獎(2003年)。
譯者序
前言
第一部分魯棒線性優(yōu)化
第1章不確定線性優(yōu)化問題及其魯棒對等2
1.1線性優(yōu)化中的數(shù)據(jù)不確定性2
1.1.1示例介紹3
1.1.2數(shù)據(jù)不確定性及其后果3
1.2不確定線性問題及其魯棒對等4
1.2.1魯棒對等的更多信息7
1.2.2未來10
1.3魯棒對等的易處理性11
1.3.1策略11
1.3.2式(1.3.6)的易處理表示:簡單情況13
1.3.3式(1.3.6)的易處理表示:一般情況14
1.4非仿射擾動16
1.5練習(xí)17
1.6備注18
第2章標(biāo)量機會約束下的魯棒對等近似問題19
2.1如何指定一個不確定性集19
2.2機會約束及其保守易處理近似20
2.2.1模糊機會約束21
2.3標(biāo)量機會約束的保守易處理近似:基本示例21
2.3.1實例:單期投資組合選擇問題25
2.3.2實例:蜂窩通信27
2.4擴展32
2.4.1有界擾動情況下的改進(jìn)35
2.4.2實例38
2.4.3更多實例43
2.4.4總結(jié)46
2.5練習(xí)48
2.6備注49
第3章不確定LO問題的全局魯棒對等51
3.1全局魯棒對等——動機和定義51
3.2GRC的計算易處理性52
3.3實例:天線陣列的綜合問題54
3.3.1建立模型54
3.3.2標(biāo)準(zhǔn)解:夢想和現(xiàn)實56
3.3.3對不確定性的免疫能力58
3.4練習(xí)60
3.5備注60
第4章關(guān)于標(biāo)量機會約束的保守易處理近似61
4.1標(biāo)量機會約束的保守凸近似的魯棒對等表示61
4.2機會約束的Bernstein近似62
4.2.1Bernstein近似:基本觀察62
4.2.2Bernstein近似:對偶化63
4.2.3Bernstein近似:主要結(jié)果64
4.2.4Bernstein近似:示例65
4.3在風(fēng)險與收益方面從Bernstein近似值到條件值68
4.3.1基于生成函數(shù)的近似方案68
4.3.2Γ的魯棒對等表示69
4.3.3風(fēng)險條件下生成函數(shù)和條件值的最優(yōu)選擇70
4.3.4易處理的問題72
4.3.5向量不等式的擴展73
4.3.6在Bernstein近似和CVaR近似之間架起橋梁74
4.4優(yōu)化80
4.4.1優(yōu)化定理82
4.5超出獨立線性擾動的情況83
4.5.1相關(guān)線性擾動83
4.5.2修正85
4.5.3利用協(xié)方差矩陣87
4.5.4說明89
4.5.5二次擾動的機會約束的擴展91
4.5.6利用域和矩信息94
4.6練習(xí)104
4.6.1混合不確定性模型106
4.7備注111
第二部分魯棒錐優(yōu)化
第5章不確定錐優(yōu)化:概念114
5.1不確定錐優(yōu)化:初步研究114
5.1.1錐規(guī)劃114
5.1.2不確定錐問題及其魯棒對等115
5.2不確定錐問題的魯棒對等:易處理性116
5.3不確定錐不等式RC的保守易處理近似117
5.4練習(xí)119
5.5備注119
第6章具有易處理魯棒對等的不確定錐二次問題121
6.1一般可解情況:場景不確定性121
6.2可解情況Ⅰ:簡單的區(qū)間不確定性122
6.3可解情況Ⅱ:非結(jié)構(gòu)化范數(shù)有界不確定性122
6.4可解情況Ⅲ:具有非結(jié)構(gòu)化范數(shù)有界不確定性的凸二次不等式126
6.5可解情況Ⅳ:簡單橢球不確定性的錐二次不等式127
6.5.1具有簡單橢球不確定性的不確定錐二次不等式的魯棒對等的半定表示130
6.6實例:魯棒線性估計131
6.7練習(xí)135
6.8備注135
第7章不確定錐二次問題的魯棒對等近似136
7.1結(jié)構(gòu)化范數(shù)有界不確定性136
7.1.1不確定最小二乘不等式魯棒對等的近似137
7.1.2具有結(jié)構(gòu)化范數(shù)有界不確定性的最小二乘不等式——復(fù)數(shù)情況140
7.1.3從不確定最小二乘到不確定錐二次不等式144
7.1.4具有結(jié)構(gòu)化范數(shù)有界不確定性的凸二次約束146
7.2∩-橢球不確定性的情況149
7.2.1不確定最小二乘不等式魯棒對等的近似149
7.2.2從不確定最小二乘到不確定錐二次不等式151
7.2.3帶∩-橢球不確定性的凸二次約束152
7.3練習(xí)154
7.4備注154
第8章具有易處理魯棒對等的不確定半定問題155
8.1不確定半定問題155
8.2不確定半定問題魯棒對等的易處理性156
8.2.1非結(jié)構(gòu)化范數(shù)有界擾動157
8.2.2應(yīng)用:魯棒的結(jié)構(gòu)設(shè)計158
8.2.3魯棒控制中的應(yīng)用166
8.3練習(xí)169
8.4備注169
第9章不確定半定問題的魯棒近似170
9.1具有結(jié)構(gòu)化范數(shù)有界不確定性的不確定半定問題魯棒對等的易處理緊近似170
9.1.1具有結(jié)構(gòu)化范數(shù)有界擾動的不確定線性矩陣不等式170
9.1.2應(yīng)用:回顧李雅普諾夫穩(wěn)定性分析/綜合171
9.2練習(xí)176
9.3備注177
第10章近似機會約束的錐二次不等式和線性矩陣不等式178
10.1機會約束的線性矩陣不等式178
10.1.1近似機會約束的線性矩陣不等式:初步研究178
10.2近似方案182
10.2.1基于模擬的式(10.2.4)的證明185
10.2.2修正187
10.2.3實例:重新審視例8.2.7189
10.3高斯優(yōu)化190
10.4機會約束線性矩陣不等式:特殊情況193
10.4.1對角情況:機會約束線性優(yōu)化194
10.4.2箭頭情況:機會約束錐二次優(yōu)化198<