關(guān)于我們
書(shū)單推薦
新書(shū)推薦
|
分位回歸與復(fù)雜分層結(jié)構(gòu)數(shù)據(jù)分析
具有復(fù)雜分層結(jié)構(gòu)的數(shù)據(jù)在現(xiàn)實(shí)生活中很普遍,剖析這類數(shù)據(jù),發(fā)現(xiàn)該類數(shù)據(jù)表象下的潛在規(guī)律對(duì)于統(tǒng)計(jì)學(xué)等科研領(lǐng)域很有意義。本書(shū)致力于介紹復(fù)雜分層數(shù)據(jù)分析的前沿知識(shí),側(cè)重于算法、仿真與實(shí)證研究,主要包括兩大塊內(nèi)容:分位回歸與分層—分位回歸。
本書(shū)可作為統(tǒng)計(jì)學(xué)及其相關(guān)領(lǐng)域大學(xué)生、研究生的教學(xué)參考書(shū),亦可供教師和科技人員參考。
本書(shū)致力于介紹復(fù)雜分層數(shù)據(jù)分析的前沿知識(shí),側(cè)重于算法、仿真與實(shí)證研究
很多分層數(shù)據(jù)具有以下分層結(jié)構(gòu):我們用變量來(lái)描述個(gè)體,而個(gè)體嵌套在更大單元里,形成金字塔形狀。以教育方面的數(shù)據(jù)為例,學(xué)生被分成班級(jí),班級(jí)嵌套在學(xué)校里。學(xué)校上面有社區(qū),社區(qū)上面還有省、國(guó)家等。
自20世紀(jì)70年代以來(lái),人們開(kāi)始研究分層結(jié)構(gòu)數(shù)據(jù)的統(tǒng)計(jì)模型。比如,作為對(duì)線性模型貝葉斯估計(jì)學(xué)術(shù)方面的貢獻(xiàn),Lindley&Smith(1972)和Smith(1973)引入了分層線性模型(HierarchicalLinearModel)這一術(shù)語(yǔ)。然而,近年來(lái)分層模型在不同的領(lǐng)域有不同的稱謂:在社會(huì)學(xué)研究里,叫作多水平模型(MultilevelModel),參見(jiàn)Mason,Wong&Entwistle(1983),Goldstein(1995);生物統(tǒng)計(jì)上則稱為混合效應(yīng)模型(Mixed-e.ectsModel)或者隨機(jī)效應(yīng)模型(Random-e.ectsModel),參見(jiàn)Elston(1962),Laird(1982),Longford(1987)以及Singer(1998);計(jì)量經(jīng)濟(jì)學(xué)上稱為隨機(jī)系數(shù)回歸模型(Random-coe.cientRegressionModel),參見(jiàn)Rosenberg(1973)和Longford(1993);在貝葉斯統(tǒng)計(jì)里,我們稱之為條件獨(dú)立分層模型(ConditionallyIndependentHierarchicalModel),參Kass&Ste.ey(1989)。一般的統(tǒng)計(jì)文獻(xiàn)則稱之為協(xié)方差成分模型(CovarianceComponentsModel),DempsterRubin&Tsutakawa(1981)。Hobert(2000)給出了目前有關(guān)擬合分層模型計(jì)算方面的熱點(diǎn)問(wèn)題綜述。 在上述所提到的各種模型背后,現(xiàn)有的分層模型理論主要關(guān)注的是在給定預(yù)測(cè)變量X的條件下,擬合響應(yīng)變量Y的條件期望。盡管在很多應(yīng)用中,這些理論能夠應(yīng)付了,然而它們卻不能完全刻畫(huà)響應(yīng)變量在各分位點(diǎn)上的情況。例如,學(xué)校平均成績(jī)有時(shí)候可能會(huì)隱藏一些涉及差生與優(yōu)等生方面的問(wèn)題,因?yàn)槠骄鶖?shù)本身不能對(duì)學(xué)生成績(jī)提供一個(gè)“譜視”(SpectralView)。 分位回歸(QuantileRegression,QR)方法,亦稱分位數(shù)回歸,產(chǎn)生于30年前。由于它能夠全面刻畫(huà)一個(gè)條件隨機(jī)變量的各分位點(diǎn)隨協(xié)變量的變化情況,所以近年來(lái)它逐漸發(fā)展成為一種綜合的分析線性和非線性模型的統(tǒng)計(jì)方法。目前,有大量的文獻(xiàn)是關(guān)于分位回歸研究的。在本書(shū)中,我們充分利用了分層模擬與分位回歸的優(yōu)點(diǎn),提出分層分位回歸模型(HierarchicalQuantileRegressionModels)。這類模型具有如下特點(diǎn):①能夠全面刻畫(huà)出給定高維解釋變量的條件下響應(yīng)變量的各分位點(diǎn)情況;②估計(jì)出來(lái)的系數(shù)向量,即邊際效應(yīng),對(duì)于響應(yīng)變量的離群觀測(cè)值來(lái)說(shuō),是穩(wěn)健的;③在不同分位點(diǎn)上潛在的不同解具有很有用的解釋意義;④沿襲了分層模擬與分位回歸模型二者所有的優(yōu)點(diǎn)。 本書(shū)致力于介紹復(fù)雜分層數(shù)據(jù)分析前沿的知識(shí),側(cè)重于算法、仿真與實(shí)證研究,以給讀者提供一些復(fù)雜分層數(shù)據(jù)的分位回歸建模知識(shí)。 自2004年中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院在全國(guó)首開(kāi)《分位回歸》課程以來(lái),筆者一直擔(dān)任本課程的主講老師。本書(shū)的大部分材料在課堂上討論過(guò)。本書(shū)在寫(xiě)作過(guò)程中,自始至終有以下碩士生、博士生參加過(guò)翻譯、校正等工作:李遠(yuǎn)、周朋朋、范潔瑜、張寧、戴成、錢政超、石恒澤、周健、安姝靜、陳博鈺、范博文、范燕、姜春波、馬維華、蘇宇楠、張圓圓、陳彥靚、郭潔、康雁飛、榮耀華、王偉、羅幼喜、儲(chǔ)昭霽、封達(dá)道、李兆媛、司世景、夏文濤、熊巍、何靜、胡亞南、黃雅麗、李茜、劉甦倩、呂爽、朱倩倩、田玉柱、梁曉琳、馬春桃、馬綽欣、孟令賓、王榛、楊亞琦、張亞麗、李二倩、羅靜、史普欣、王曉荷、袁夢(mèng)、吳延科、晏振等。在此,我對(duì)他們表示衷心的感謝! 本書(shū)獲得以下基金部分資助:國(guó)家自然科學(xué)基金(No.11271368),北京市社會(huì)科學(xué)基金重大項(xiàng)目(No.15ZDA17),教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(No.20130004110007),國(guó)家社會(huì)科學(xué)基金重點(diǎn)項(xiàng)目(No.13AZD064),中國(guó)人民大學(xué)科學(xué)研究基金(中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助)項(xiàng)目成果(No.15XNL008),教育部科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(No.108120),北京市社會(huì)科學(xué)基金項(xiàng)目(No.12JGB051)以及蘭州商學(xué)院“飛天學(xué)者特聘計(jì)劃”。同時(shí)感謝教育部人文社會(huì)科學(xué)重點(diǎn)研究基地中國(guó)人民大學(xué)應(yīng)用統(tǒng)計(jì)研究中心的大力支持。
田茂再,湖南鳳凰人,南開(kāi)大學(xué)概率統(tǒng)計(jì)博士,中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院教授、博士生導(dǎo)師,統(tǒng)計(jì)學(xué)家,教育部人文社會(huì)科學(xué)重點(diǎn)研究基地中國(guó)人民大學(xué)應(yīng)用統(tǒng)計(jì)科學(xué)研究中心副主任。澳大利亞墨爾本大學(xué)、德國(guó)洪堡大學(xué)、美國(guó)耶魯大學(xué)、英國(guó)曼徹斯特大學(xué)、布魯奈爾大學(xué)、日本東京大學(xué)以及意大利佛羅倫薩大學(xué)高級(jí)訪問(wèn)教授。
研究領(lǐng)域:復(fù)雜數(shù)據(jù)建模理論。研究成果頗具創(chuàng)新性,深刻推動(dòng)了統(tǒng)計(jì)學(xué)科的進(jìn)步,并影響了相關(guān)學(xué)科的發(fā)展,在實(shí)踐領(lǐng)域發(fā)揮著重要作用,得到了國(guó)際同行專家的廣泛認(rèn)可。
第1 章分位回歸引論..........................................................3
1.1 引言....................................................................3 1.1.1 分位數(shù)............................................................3 1.1.2 分位回歸..........................................................4 1.1.3 分位回歸方法的演變............................................... 7 1.2 估計(jì)方法和算法.......................................................12 1.2.1 參數(shù)分位回歸模型................................................ 12 1.2.2Box-Cox變換分位數(shù)模型..........................................12 1.2.3 非參分位回歸模型................................................ 13 1.2.4 窗寬選擇........................................................ 15 1.2.5 半?yún)⒎治换貧w模型................................................ 16 1.2.6 兩步法...........................................................17 1.3 分位回歸應(yīng)用領(lǐng)域.................................................... 17 1.3.1 執(zhí)行總裁年報(bào)酬與公司股本的市場(chǎng)價(jià)值關(guān)系......................... 17 1.3.2分位數(shù)恩格爾曲線(EngelCurve).................................. 18 1.3.3 分位回歸和嬰兒體重的決定因素....................................20 1.3.4 醫(yī)學(xué)中參考圖表的應(yīng)用............................................ 22 1.3.5 在生存分析方面的應(yīng)用............................................ 23 1.3.6 風(fēng)險(xiǎn)值、分布尾部及分位數(shù)........................................ 24 1.3.7 經(jīng)濟(jì).............................................................24 1.3.8 環(huán)境模型的應(yīng)用.................................................. 24 1.3.9 在檢測(cè)異方差性上的應(yīng)用.......................................... 25 1.4 其他方面的進(jìn)展.......................................................25 1.4.1 時(shí)間序列的分位回歸.............................................. 25 1.4.2 擬合優(yōu)度........................................................ 26 1.4.3 貝葉斯分位回歸.................................................. 27 1.5 軟件和標(biāo)準(zhǔn)誤差.......................................................27 1.6 文獻(xiàn)介紹.............................................................. 28 第2 章線性分位回歸模擬.................................................... 30 2.1 基本概念.............................................................. 30 2.1.1 基于條件分位函數(shù)的定義.......................................... 30 2.1.2 基于分位回歸模型的定義.......................................... 30 2.1.3 基于損失函數(shù)的定義.............................................. 30 2.1.4 基于非對(duì)稱拉普拉斯密度的定義....................................31 2.2 家庭背景因素的影響.................................................. 31 2.3 數(shù)據(jù)...................................................................32 2.4 估計(jì)結(jié)果.............................................................. 34 2.4.1 10 年級(jí)的影響估計(jì)............................................... 34 2.4.2 11 年級(jí)的影響估計(jì)............................................... 35 2.4.3 12 年級(jí)的影響估計(jì)............................................... 36 2.5 置信區(qū)間和相關(guān)解釋.................................................. 39 2.5.1 哪一個(gè)是最好的?雙親、單親還是沒(méi)有父母.......................... 39 2.5.2 為什么我們要關(guān)注兄弟姐妹關(guān)系....................................40 2.5.3 父親和母親之間的影響的區(qū)別是什么............................... 40 2.5.4 性別上有差異嗎.................................................. 40 2.5.5 表現(xiàn)差距在哪里.................................................. 40 2.5.6 語(yǔ)言問(wèn)題是很嚴(yán)重的問(wèn)題嗎........................................ 41 2.5.7 本地學(xué)生從數(shù)學(xué)教學(xué)中獲益了嗎....................................41 2.6 結(jié)論...................................................................41 2.7 文獻(xiàn)介紹.............................................................. 42 第3 章非參數(shù)分位回歸模擬................................................. 43 3.1 穩(wěn)健局部逼近......................................................... 43 3.1.1 介紹.............................................................43 3.1.2 LAM 估計(jì)的相合性............................................... 44 3.1.3 LAM 估計(jì)的漸近分布............................................. 46 3.1.4I=2條件下關(guān)于K和β的最優(yōu)估計(jì).............................. 46 3.1.5 文獻(xiàn)介紹........................................................ 48 3.2 非參數(shù)函數(shù)估計(jì).......................................................48 3.2.1 引言.............................................................48 3.2.2 漸近性質(zhì)........................................................ 50 3.2.3 百分位回歸和預(yù)測(cè)區(qū)間............................................ 51 3.2.4 文獻(xiàn)介紹........................................................ 53 3.3 局部線性分位回歸.................................................... 53 3.3.1 引言.............................................................53 3.3.2 局部線性檢驗(yàn)函數(shù)的最小化........................................ 56 3.3.3 局部線性雙核平滑................................................ 60 3.3.4 實(shí)際性能........................................................ 63 3.3.5 文獻(xiàn)介紹........................................................ 66 3.4 教育數(shù)據(jù)分析......................................................... 67 3.4.1 數(shù)據(jù).............................................................68 3.4.2 方法.............................................................69 3.4.3 科學(xué)成績(jī)........................................................ 70 3.4.4 數(shù)學(xué)成績(jī)........................................................ 73 3.4.5 科學(xué)成績(jī)和數(shù)學(xué)成績(jī)的關(guān)系........................................ 75 3.4.6 文獻(xiàn)介紹........................................................ 77 第4 章適應(yīng)性分位回歸模擬................................................. 78 4.1 局部常數(shù)適應(yīng)性分位回歸............................................. 78 4.1.1 引言.............................................................78 4.1.2 適應(yīng)性估計(jì)...................................................... 79 4.1.3 實(shí)現(xiàn).............................................................81 4.1.4 理論性質(zhì)........................................................ 82 4.1.5 蒙特卡洛研究.................................................... 83 4.1.6 不同方法的比較.................................................. 87 4.1.7 局部適應(yīng)性窗寬的自動(dòng)選擇........................................ 88 4.1.8 應(yīng)用.............................................................91 4.1.9 文獻(xiàn)介紹........................................................ 91 4.2 局部線性適應(yīng)性分位回歸............................................. 92 4.2.1 介紹.............................................................92 4.2.2 局部線性適應(yīng)性估計(jì).............................................. 93 4.2.3 算法.............................................................95 4.2.4 理論性質(zhì)........................................................ 96 4.2.5 蒙特卡洛模擬.................................................... 97 4.2.6 文獻(xiàn)介紹........................................................ 99 第5 章可加性分位回歸模擬................................................ 100 5.1 高維協(xié)變量下可加條件分位回歸..................................... 100 5.1.1 引言............................................................100 5.1.2 方法............................................................102 5.1.3 漸近性質(zhì)....................................................... 105 5.1.4 與后擬合方法在數(shù)值表現(xiàn)上的比較................................ 108 5.1.5 例子............................................................111 5.1.6 文獻(xiàn)介紹....................................................... 115 5.2 可加分位回歸的非參數(shù)估計(jì)..........................................115 5.2.1 介紹............................................................116 5.2.2 估計(jì)量的正式描述............................................... 118 5.2.3 一個(gè)經(jīng)驗(yàn)例子................................................... 119 5.2.4 漸近結(jié)果....................................................... 121 5.2.5 蒙特卡洛實(shí)驗(yàn)................................................... 125 5.2.6 文獻(xiàn)介紹....................................................... 127 第6 章變系數(shù)分位回歸模擬................................................ 128 6.1 適應(yīng)性變系數(shù)分位回歸.............................................. 128 6.1.1 引言............................................................128 6.1.2 自適應(yīng)估計(jì)..................................................... 129 6.1.3 理論性質(zhì)....................................................... 134 6.1.4 實(shí)證例子....................................................... 136 6.1.5 文獻(xiàn)介紹....................................................... 141 6.2 異方差變系數(shù)分位回歸.............................................. 141 6.2.1 引言............................................................141 6.2.2局部線性CQR-AQR估計(jì)........................................143 6.2.3局部二次CQR-AQR估計(jì)........................................147 6.2.4 窗寬選擇....................................................... 148 6.2.5 假設(shè)檢驗(yàn)....................................................... 149 6.2.6 數(shù)值模擬....................................................... 150 6.2.7 經(jīng)驗(yàn)應(yīng)用....................................................... 157 6.2.8局部m次多項(xiàng)式CQR-AQR估計(jì)................................ 159 6.2.9 文獻(xiàn)介紹....................................................... 161 第7 章單指數(shù)分位回歸模擬................................................ 162 7.1 引言................................................................. 162 7.2 模型與估計(jì).......................................................... 163 7.2.1 模型與局部線性估計(jì)............................................. 163 7.2.2 帶寬選擇....................................................... 166 7.3 大樣本性質(zhì).......................................................... 167 7.3.1 非參部分的漸近性............................................... 167 7.3.2 參數(shù)部分的漸近性............................................... 168 7.4 數(shù)值研究.............................................................169 7.4.1 模擬............................................................169 7.4.2 波士頓房?jī)r(jià)數(shù)據(jù)應(yīng)用............................................. 173 7.5 文獻(xiàn)介紹.............................................................176 第8 章分位自回歸模擬..................................................... 177 8.1 引言................................................................. 177 8.2 模型................................................................. 178 8.2.1 模型界定....................................................... 178 8.2.2 分位自回歸過(guò)程的性質(zhì)........................................... 179 8.3 估計(jì)................................................................. 181 8.4 分位單調(diào)性.......................................................... 183 8.5 分位自回歸過(guò)程的統(tǒng)計(jì)推斷..........................................186 8.5.1回歸Wald檢驗(yàn)過(guò)程與相關(guān)檢驗(yàn)...................................187 8.5.2 非對(duì)稱動(dòng)態(tài)性檢驗(yàn)............................................... 187 8.6 蒙特卡洛.............................................................189 8.7 實(shí)證運(yùn)用.............................................................191 8.7.1 失業(yè)率......................................................... 192 8.7.2 汽油零售價(jià)的動(dòng)態(tài)性............................................. 192 8.8 文獻(xiàn)介紹.............................................................194 第9 章復(fù)合分位回歸模擬...................................................195 9.1 復(fù)合分位回歸與模型選擇............................................ 195 9.1.1 介紹和動(dòng)機(jī)..................................................... 195 9.1.2 復(fù)合分位回歸................................................... 197 9.1.3 漸近相對(duì)有效性................................................. 198 9.1.4 CQR-Oracular 估計(jì)量........................................... 203 9.1.5 模擬研究....................................................... 204 9.1.6 文獻(xiàn)介紹....................................................... 205 9.2 局部復(fù)合分位回歸................................................... 205 9.2.1 引言............................................................205 9.2.2 回歸函數(shù)的估計(jì)................................................. 206 9.2.3 導(dǎo)數(shù)的估計(jì)..................................................... 210 9.2.4 數(shù)值比較和例子................................................. 214 9.2.5局部p階多項(xiàng)式復(fù)合分位回歸光滑和證明.......................... 220 9.2.6 討論............................................................221 9.2.7 文獻(xiàn)介紹....................................................... 222 第10章高維分位回歸模擬................................................. 223 10.1 引言................................................................ 223 10.2 非凸懲罰的分位回歸................................................224 10.2.1 方法.......................................................... 224 10.2.2 差分凸規(guī)劃及充分局部最優(yōu)性條件............................... 226 10.2.3 漸近性質(zhì)...................................................... 226 10.3 模擬與實(shí)際數(shù)據(jù)例子................................................229 10.3.1 模擬研究...................................................... 230 10.3.2 應(yīng)用.......................................................... 232 10.4 文獻(xiàn)介紹............................................................236 第11章貝葉斯分位回歸模擬............................................... 237 11.1 引言................................................................ 237 11.2 非對(duì)稱拉普拉斯分布................................................238 11.3 貝葉斯分位回歸.................................................... 239 11.4 參數(shù)的不合適先驗(yàn).................................................. 240 11.5 應(yīng)用................................................................ 240 11.5.1 模擬數(shù)據(jù)...................................................... 240 11.5.2免疫球蛋白IgG................................................ 242 11.5.3 煙囪損失...................................................... 242 11.6 文獻(xiàn)介紹............................................................244 下篇分層分位回歸模擬 第12章分層樣條分位回歸模擬.............................................247 12.1 引言................................................................ 247 12.2 條件分位函數(shù)的非參估計(jì)........................................... 248 12.3回歸分位數(shù)模型的Wald檢驗(yàn).......................................250 12.4 條件分位分層模型及其在家庭用電量需求上的應(yīng)用.................252 12.4.1第一階段:家庭需求周期的時(shí)間序列模型..........................252 12.4.2第二階段:需求周期的橫截面模型................................ 253 12.4.3 條件分位數(shù)分層模型............................................ 254 12.5 數(shù)據(jù)的描述......................................................... 255 12.5.1 第一階段結(jié)果.................................................. 256 12.5.2 第二階段結(jié)果.................................................. 257 12.6 文獻(xiàn)介紹............................................................262 第13章分層線性分位回歸模擬.............................................264 13.1 引言................................................................ 264 13.2 分層分位回歸模型.................................................. 264 13.3 EQ 算法............................................................ 265 13.3.1 Q 步.......................................................... 265 13.3.2 E 步.......................................................... 266 13.3.3 迭代.......................................................... 267 13.3.4 初始值選取的基本方法.......................................... 267 13.4 漸近性質(zhì)............................................................267 13.5 真實(shí)數(shù)據(jù)分析舉例.................................................. 269 13.5.1 數(shù)據(jù)描述...................................................... 269 13.5.2 分位回歸...................................................... 269 13.5.3 兩水平分層分位回歸模型........................................270 13.5.4 部分結(jié)果...................................................... 272 13.6 文獻(xiàn)介紹............................................................274 第14章分層半?yún)?shù)分位回歸模擬.......................................... 275 14.1 介紹................................................................ 275 14.2 模型和估計(jì)......................................................... 276 14.2.1研究J所學(xué)校SES成績(jī)之間的關(guān)系..............................277 14.2.2 母親講話對(duì)孩子詞匯量的影響................................... 278 14.3 漸近結(jié)果............................................................282 14.4 模擬分析............................................................283 14.4.1 誤差為多元柯西分布的層次線性模型............................. 283 14.4.2 具有異方差的層次非參分位回歸模型............................. 284 14.5 實(shí)際數(shù)據(jù)例子....................................................... 286 14.6 文獻(xiàn)介紹............................................................289 第15章復(fù)合分層線性分位回歸模擬........................................ 290 15.1 介紹................................................................ 290 15.2 模型................................................................ 291 15.3 估計(jì)................................................................ 292 15.3.1 CQ 步.........................................................292 15.3.2 E 步.......................................................... 292 15.3.3 迭代.......................................................... 293 15.4 漸近性質(zhì)............................................................294 15.4.1 誤差項(xiàng)為正態(tài)分布.............................................. 294 15.4.2 誤差項(xiàng)分布非正態(tài).............................................. 295 15.5 模擬................................................................ 296 15.5.1 誤差項(xiàng)為正態(tài)分布.............................................. 296 15.5.2 誤差項(xiàng)為柯西分布.............................................. 296 15.5.3 離群點(diǎn)........................................................ 297 15.5.4 選擇最優(yōu)K ....................................................298 15.6 實(shí)證部分............................................................299 15.6.1 描述數(shù)據(jù)...................................................... 299 15.6.2 多水平模型中的數(shù)據(jù)分析........................................299 15.6.3 結(jié)果.......................................................... 300 15.7 文獻(xiàn)介紹............................................................302 第16章復(fù)合分層半?yún)?shù)分位回歸模擬..................................... 303 16.1 介紹................................................................ 303 16.2 模型................................................................ 304 16.2.1 第一層單元內(nèi)部模型............................................ 304 16.2.2 第二層單元之間模型............................................ 304 16.3 估計(jì)與算法......................................................... 305 16.4 漸近性質(zhì)............................................................306 16.5 模擬研究............................................................308 16.5.1 對(duì)于不同的誤差項(xiàng)分布.......................................... 308 16.5.2對(duì)于Y存在異常值的情況.......................................310 16.5.3 函數(shù)及其導(dǎo)數(shù)估計(jì).............................................. 311 16.6 實(shí)際數(shù)據(jù)分析....................................................... 312 16.6.1 第一次層模型.................................................. 314 16.6.2 第二次層模型.................................................. 314 16.7 文獻(xiàn)介紹............................................................315 參考文獻(xiàn).................................................................317
你還可能感興趣
我要評(píng)論
|