前言
在大數(shù)據(jù)時代，面對規(guī)模龐大的數(shù)據(jù)和紛繁復(fù)雜的數(shù)據(jù)類型，用于分析這些數(shù)據(jù)的統(tǒng)計模型也越來越復(fù)雜，模型估計的難度日益加大，因此統(tǒng)計計算在統(tǒng)計研究和應(yīng)用領(lǐng)域的重要性不斷提升.正如北京大學(xué)張志華教授所說：“計算在統(tǒng)計中已經(jīng)變得越來越重要，傳統(tǒng)的多元統(tǒng)計分析以矩陣為計算工具，而現(xiàn)代高維統(tǒng)計則以優(yōu)化算法為計算工具.”
作者在中南大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院給高年級本科生和低年級研究生開設(shè)“統(tǒng)計計算”這門課時，發(fā)現(xiàn)學(xué)生們已經(jīng)具備了一定的編程基礎(chǔ)和統(tǒng)計軟件的使用經(jīng)驗，他們希望在這門課中更深入地了解統(tǒng)計計算方法的基本原理，學(xué)習更高級、更前沿的算法及相關(guān)收斂性理論，這些更有助于他們做出原創(chuàng)性的科研工作或解決實際中遇到的統(tǒng)計計算問題，也促使作者產(chǎn)生了撰寫本書的想法.
本書的內(nèi)容分成兩部分：蒙特卡羅方法和統(tǒng)計計算的常用優(yōu)化算法.前者是貝葉斯模型估計的主要方法，后者是現(xiàn)代高維統(tǒng)計的計算工具.本書的前三章分別介紹了一元隨機變量的抽樣、多元隨機向量的抽樣和隨機過程的抽樣，它們構(gòu)成了蒙特卡羅方法的基石；第4章和第5章介紹了Gibbs抽樣、馬爾可夫鏈蒙特卡羅（MCMC）方法、哈密頓蒙特卡羅方法（HMC）和序貫蒙特卡羅方法（SMC）；第6~12章每一章介紹一種優(yōu)化方法及其在統(tǒng)計或機器學(xué)習中的應(yīng)用，包括估計高斯混合模型的EM算法、估計Logistic回歸模型的Newton算法、稀疏學(xué)習常用的坐標下降法、AdaBoost算法、SVM與凸優(yōu)化理論等；第13章以對深度學(xué)習的入門介紹作為全書的結(jié)尾.
與國內(nèi)外已出版的相關(guān)教材相比，本書在統(tǒng)計計算傳統(tǒng)核心內(nèi)容的基礎(chǔ)上增加了一些新的較流行的計算方法.在前半部分蒙特卡羅抽樣方法中加入了Dirichlet分布抽樣、隨機矩陣的抽樣方法、隨機圖的抽樣方法、Poisson點過程抽樣、Dirichlet過程抽樣等內(nèi)容.在有關(guān)MCMC方法的介紹中，不僅補充了馬爾可夫鏈的一些基本概念和收斂性理論，還增加了對較前沿的HMC方法的介紹并配以詳細的應(yīng)用實例說明.在后半部分對優(yōu)化算法的介紹中，本書增加了比EM算法應(yīng)用范圍更廣的MM算法、稀疏學(xué)習中流行的坐標下降法及ADMM算法，此外還加入了對機器學(xué)習和深度學(xué)習前沿算法的介紹.
本書在介紹每種方法時，不僅給出了基本的計算步驟，還對相關(guān)收斂性理論進行了介紹，給出了必要的推導(dǎo)證明，使讀者能深入地領(lǐng)會方法的本質(zhì)以及更準確地使用這些方法.本書還為每種方法配備了一個或多個具體的統(tǒng)計模型應(yīng)用實例，很多應(yīng)用實例來自近幾年較前沿的科研文章，有些實例配有詳細的R代碼，使讀者掌握使用這些方法解決實際統(tǒng)計計算問題的全過程.本書為一些章節(jié)配備了習題，這些習題大多需要讀者進行編程計算，很多題目可以在書中實例的R代碼基礎(chǔ)上進行修改和擴展完成.此外，本書在對知識的介紹中配備了大量圖片進行說明，有些還附有視頻鏈接，幫助讀者理解.
本書是作者對自己在博士期間所讀的多本教材、課堂筆記、閱讀的大量科研論文的一個綜合整理，從中選取了對當前數(shù)據(jù)分析和科研最有幫助的統(tǒng)計計算方法.本書的寫作深受很多統(tǒng)計學(xué)專家學(xué)者所著的教材和講義的影響，包括斯坦福大學(xué)Art Owen教授所著的有關(guān)蒙特卡羅方法的教材、杜克大學(xué)David Dunson教授的貝葉斯統(tǒng)計課程講義、Peter Hoff教授的多元統(tǒng)計分析課程講義、Mike West教授的概率統(tǒng)計模型課程講義和Cynthia Rudin教授的機器學(xué)習課程講義.作者也受益于在杜克大學(xué)讀博士期間與這些教授在學(xué)術(shù)科研上的交流和討論.本書初稿完成后，在教學(xué)過程中收到了很多學(xué)生的寶貴意見，對本書質(zhì)量的提高有很大幫助，在此向單順衡、張轉(zhuǎn)、申貞遠、鄧牧野、曹楷、邵慧、陳宇昕、王安瀾、陳建國、徐素、杜露露、柯寶芳、萬昭曼、于穎、甄夢楠、鄂繼躍表示衷心感謝.在本書出版過程中，機械工業(yè)出版社的責任編輯湯嘉給予了很多幫助，在此特向他致謝.
由于作者水平所限，書中難免有錯誤和不當之處，歡迎讀者批評指正，來函請發(fā)至wanglu_stat@csu.edu.cn.