朱永生編寫的《實驗數(shù)據(jù)分析(下)》介紹實驗或測量數(shù)據(jù)分析中所涉及的概率和數(shù)理統(tǒng)計及相關的數(shù)學知識,內(nèi)容包括概率論、經(jīng)典數(shù)理統(tǒng)計、貝葉斯統(tǒng)計、蒙特卡羅方法、極小化方法和去彌散方法六個部分。其中第1—5章和第6—12章分別闡述概率論和經(jīng)典數(shù)理統(tǒng)計的基本內(nèi)容,第13章則專門介紹在現(xiàn)代統(tǒng)計學中具有重要影響的貝葉斯學派的觀點與理論,第14章討論應用日益廣泛的蒙特卡羅方法的基本概念,第15章介紹的極小化(或最優(yōu)化)方法是求解許多數(shù)理統(tǒng)計問題的重要工具(例如,極大似然法、最小二乘法等1,最后第16章介紹去彌散方法,處理從觀測數(shù)據(jù)和測量儀器的分辨函數(shù)反演出原分布的問題(第1—11章見本書上冊)。
更多科學出版社服務,請掃碼獲取。
《實驗數(shù)據(jù)分析(下冊)》可供實驗物理工作者和大專院校相關專業(yè)師生、理論物理研究人員、工程技術人員以及從事自然科學和社會科學的數(shù)據(jù)測量和分析研究人員參考。
目 錄
前言
第12章 假設檢驗 401
12.1 假設檢驗的一般概念 401
12.1.1 原假設和備擇假設 401
12.1.2 假設檢驗的一般方法 403
12.1.3 檢驗的比較 406
12.1.4 分布自由檢驗 408
12.2 參數(shù)假設檢驗 408
12.2.1 簡單假設的奈曼皮爾遜檢驗 408
12.2.2 復合假設的似然比檢驗 411
12.3 正態(tài)總體的參數(shù)檢驗 419
12.3.1 正態(tài)總體均值和方差的檢驗 419
12.3.2 兩個正態(tài)總體均值的比較 421
12.3.3 兩個正態(tài)總體方差的比較 423
12.3.4 多個正態(tài)總體均值的比較 427
12.4 擬合優(yōu)度檢驗 429
12.4.1 似然比檢驗 430
12.4.2 皮爾遜x2檢驗 432
12.4.3 最小二乘、極大似然估計中的皮爾遜x2檢驗 435
12.4.4 擬合優(yōu)度的一般x2檢驗 436
12.4.5 柯爾莫哥洛夫檢驗 443
12.4.6 斯米爾諾夫克拉美馮,邁希斯檢驗 447
12.5 信號的統(tǒng)計顯著性 449
12.5.1 賣驗P值 449
12.5.2 信號的統(tǒng)計顯著性 451
12.6 獨立性檢驗 454
12.6.1 二維隨機變量分量的獨立性檢驗 454
12.6.2 多維隨機變量分量的獨立性檢驗 458
12.7 相關性檢驗 460
12.7.1 Pearson相關系數(shù)的檢驗 460
12.7.2 Spearman秩相關檢驗 463
12.7.3 Kendall丁相關檢驗 466
12.7.4 多變量Kendall協(xié)和系數(shù)檢驗 471
12.8 一致性檢驗 474
12.8.1 符號檢驗 475
12.8.2 兩子樣的游程檢驗 480
12.8.3 游程檢驗作為皮爾遜x2檢驗的補充 484
12.8.4 兩子樣的斯米爾諾夫檢驗 487
12.8.5 兩子樣的威爾科克森檢驗 490
12.8.6 多個連續(xù)總體子樣的克魯斯卡爾瓦列斯秩檢驗 495
12.8.7 多個離散總體子樣的x2檢驗 498
第13章 貝葉斯統(tǒng)計 502
13.1 頻率概率和貝葉斯概率 503
13.2 貝葉斯公式和貝葉斯統(tǒng)計模型 504
13.2.1 貝葉斯公式 504
13.2.2 貝葉斯統(tǒng)計模型和貝葉斯推斷原則 506
13.2.3 先驗分布和后驗分布,先驗分布的選擇 508
13.3 貝葉斯統(tǒng)計推斷 527
13.3.1 統(tǒng)計決策的基本概念 527
13.3.2 貝葉斯參數(shù)點估計 531
13.3.3 經(jīng)驗貝葉斯估計 537
13.3.4 貝葉斯參數(shù)區(qū)間估計 540
13.3.5 貝葉斯假設檢驗 545
第14章 蒙特卡羅法 552
14.1 蒙特卡羅法的基本思想 552
14.2 隨機數(shù)的產(chǎn)生及檢驗 554
14.2.1 隨機數(shù)的產(chǎn)生 554
14.2.2 隨機數(shù)的統(tǒng)計檢驗 556
14.3 任意隨機變量的隨機抽樣 561
14.3.1 直接抽樣方法 561
14.3.2 直接抽樣方法的推廣變換抽樣 564
14.3.3 舍選抽樣方法 567
14.3.4 利用極限定理抽樣 569
14.3.5 復合分布的抽樣方法 570
14.3.6 近似抽樣方法 572
14.3.7 多維分布的抽樣 574
14.4 蒙特卡羅法計算積分 580
14.4.1 頻率法均勻投點法 580
14.4.2 期望值估計法 584
14.4.3 重要抽樣方法 587
14.4.4 半解析法 588
14.4.5 自適應蒙特卡羅積分 591
14.5 蒙特卡羅法應用于粒子傳播問題 593
第15章 極小化方法 598
15.1 引言 598
15.2 無約束極小化的一維搜索 600
15.2.1 黃金分割法(O.618法) 601
15.2.2 斐波那契法 603
15.2.3 二次函數(shù)插值法(拋物線法) 607
15.2.4 進退法 609
15.3 無約束n維極值的解析方法 612
15.3.1 最速下降法(梯度法) 613
15.3.2 牛頓法 617
15.3.3 共軛方向法和共軛梯度法 618
15.3.4 變尺度法 624
15.4 無約束n維極值的直接方法 626
15.4.1 坐標輪換法 627
15.4.2 霍克吉弟斯模式搜索法 628
15.4.3 羅森布洛克轉(zhuǎn)軸法 629
15.4.4 單純形法 632
15.5 最小二乘Q2函數(shù)和似然函數(shù)的極值問題 635
15.5.1 最小二乘Q2函數(shù)極值 636
15.5.2 似然函數(shù)極值 637
15.6 局部極小和全域極小 639
15.6.1 網(wǎng)格法 240
15.6.2 隨機搜索法 640
15.7 約束n維極值問題 642
15.7.1 變量代換法 643
15.7.2 罰函數(shù)法 644
15.8 參數(shù)的誤差估計 648
第16章 去彌散方法 651
16.1 去彌散問題的數(shù)學表述 652
16.2 響應矩陣求逆法 656
16.3 修正兇子法 660
16.4 正規(guī)化去彌散的一般策略 662
16.5 正規(guī)函數(shù) 663
16.5.1 Tikhonov正規(guī)函數(shù) 663
16.5.2 基于極大熵原理的正規(guī)函數(shù) 665
16.5.3 貝葉斯統(tǒng)計的極大熵原理 666
16.5.4 基于交義熵的正規(guī)函數(shù) 668
16.6 估計量的方差和偏差 669
16.7 正規(guī)參數(shù)的選擇 672
16.8 去彌散計算實例 675
16.9 數(shù)值計算 678
參考文獻 682
附表 691
示例索引 775
第12章假設檢驗
12.1 假設檢驗的一般概念
從第7章到第11章我們討論了參數(shù)估計問題.在這類問題中,隨機變量的分布函數(shù)的形式一般為已知,但其中包含著待估計的未知參數(shù),參數(shù)估計就是根據(jù)子樣觀測值對未知參數(shù)的數(shù)值或置信區(qū)間進行統(tǒng)計推斷。如果被觀測的隨機變量的分布函數(shù)的確切形式未知,我們只能以假設的方式提出它所服從的分布,并從統(tǒng)計的觀點根據(jù)觀測值來判斷這一假設的合理性。這類問題是數(shù)理統(tǒng)計的又一重要內(nèi)容,稱為統(tǒng)計假設的檢驗。
舉例來說,方向相反的高能量正負電子對撞,產(chǎn)生一對μ介子
e+ +e. .→ μ + +μ..
出射的μ.粒子與負電子e.之間的極角.是一個隨機變量。假定測量了n個反應事例的.值為.1,.2,,.n,要求確定.的分布是否具有C(1+acos2 .),0...π(12.1.1)的形式,其中C是歸一化常數(shù),a是某個參數(shù).這就是一個假設檢驗問題。
假設檢驗可以分為參數(shù)檢驗和非參數(shù)檢驗兩類,如果有待檢驗的是分布的某個參數(shù)是否等于某個規(guī)定值(分布函數(shù)形式已知,但包含未知參數(shù)),那么這屬于參數(shù)檢驗問題。比如上例中已知隨機變量,具有式(12.1.1)的分布,要求根據(jù)觀測值.1,.2,,.n檢驗未知參數(shù)a是否等于某個特定值a0,非參數(shù)檢驗所處理的問題是:被觀測的隨機變量所服從的分布是否具有某個特定的函數(shù)形式,或是從兩個總體的各自一組觀測值來檢驗這兩個總體是否有相同的分布等,在這種情況下,待檢驗總體的分布的函數(shù)形式,在假設檢驗完成前是無從知曉的。上例中,如果要根據(jù)一組觀測值.1,.2,,.n來確定隨機變量。是否服從式(12.1.1)的分布(事先并不知道,分布的函數(shù)形式),則就是非參數(shù)檢驗問題。
12.1.1 原假設和備擇假設
參數(shù)檢驗的一般問題可表述如下:設總體X的概率分布F(x;.)的函數(shù)形式為已知,但其中包含未知參數(shù),要求從總體的子樣測量值(x1,x2,,xn)來檢驗未知參數(shù),是否等于某個指定值.0.對我們要驗證的假設記為H0:.=.0,(12.1.2)稱為原假設或零假設。參數(shù)假設檢驗問題的提出本身就意味著,總體X的真實分布的參數(shù)值既可能是H0規(guī)定的.0,也可能是不同于0的其他值。因此,與原假設相對,有 H1:.=..,..=.0稱為備擇假設或備選假設,參數(shù),所有可能值的全體稱為容許假設,容許假設(除原假設H0以外)都可作為備擇假設,常見的參數(shù)備擇假設有如下類型:
H1:.=.1(.1為不等于.0的常數(shù)),(12.1.3)
H1:.>.0,(12.1.4)
H1:.<.0,(12.1.5)
H1:.=.0.(12.1.6)
如果假設對于參數(shù)的規(guī)定值是一個常數(shù),或者說是參數(shù)空間中的單點集,則該假設稱為簡單假設;相反,假設對參數(shù)的規(guī)定值是參數(shù)空間中的非單點集,則稱為復合假設或復雜假設。于是式(12.1.2)和式(12.1.3)是簡單原假設和簡單備擇假設,而式(12.1.4)~ 式(12.1.6)是復合備擇假設。
非參數(shù)檢驗的一類問題是,待檢驗的總體X的分布F(x)是否等于某個特定函數(shù)G(x),或者總體X的分布F(x)與總體Y的分布G(x)是否相同,其原假設可表述為H0:F(x)=G(x), (12.1.7)
備擇假設可有不同的類型
H1:F(x)>G(x),(12.1.8)
H1:F(x)H1:F(x).=G(x). (12.1.10)
一個假設檢驗問題,就是利用待檢驗總體的子樣觀測值來決定,究竟應當接受原假設(拒絕備擇假設)還是應當拒絕原假設(接受備擇假設),至于原假設和備擇假設怎樣選擇,則是根據(jù)所要解決的具體問題來決定的。
式(12.1.4),式(12.1.5)的備擇假設對于待檢驗的參數(shù)的規(guī)定值,完全落在原假設.=.0的一側(cè)(上側(cè)或下側(cè)),這樣的檢驗稱為單側(cè)檢驗;式(12.1.6)備擇假設對的規(guī)定值落在H0:.=.0的兩側(cè),稱為雙側(cè)檢驗.對于非參數(shù)檢驗的情形,式(12.1.8),式(12.1.9)是單側(cè)檢驗,式(12.1.10)是雙側(cè)檢驗。
12.1 假設檢驗的一般概念403
……
12.1.2 假設檢驗的一般方法
設X = {X1,X2,,Xn} 是從待檢驗總體抽取的隨機子樣,而U=U(X)為子樣統(tǒng)計量(見6.2節(jié)統(tǒng)計量的定義),在假設檢驗中稱為檢驗統(tǒng)計量,令W是U的值域,當零假設H0為真時,U落入W的一個子域R的概率用α表示,0.α.1,α = P (U ∈ R|H0)=R g(u|H0)du,(12.1.11)其中g(u|H0)是H0為真時統(tǒng)計量U的概率密度,一般α為一接近于零的正數(shù),判斷待檢驗的假設是拒絕還是接受,是根據(jù)所謂小概率事件的原理,即概率很小的事件在一次隨機試驗中被認為是幾乎不可能發(fā)生的。因此,當我們有一組實際觀測值x1,x2,,xn并求出U的實際觀測值Uobs,如果它落在區(qū)域R之中,由于α很小,這一事件是小概率事件,因此,假設H0不大可能是正確的,我們稱在顯著性(水平)α上拒絕零假設H0而接受備選假設H1;反之,當Uobs落在子域W R內(nèi),則在水平α上接受H0而拒絕H1,對零假設H0作出接受或拒絕的判斷,通常稱為對H0作顯著性檢驗,子域R稱為拒絕域或臨界域,子域W-R則稱為接受域,臨界域與接受域分界點的統(tǒng)計量U的值Uc稱為臨界點或臨界值(圖12.1(a))。應當指出,在某些檢驗問題中,特別在某些雙側(cè)檢驗問題中,存在兩個分隔開的臨界域,因而有兩個臨界點,如圖12.1(b)所示。
圖12.1檢驗統(tǒng)計量U的臨界域R和接受域W-RUc(Uc.)為臨界值,g(u|H0)是H0為真時U的概率密度
由假設檢驗的上述判斷準則可知,即使零假設H0為真,但檢驗統(tǒng)計量U的實際觀測值仍然有α的概率落入拒絕域R,也就是說,當用Uobs來檢驗正確地反映觀測值的零假設時,有100α%的可能性將拒絕H0.這類錯誤稱為第一類錯誤,亦即棄真的錯誤,把本來正確的假設給否定了,為了減少棄真的錯誤,α應當取得盡可能地小。
此外,還可能出現(xiàn)第二類錯誤,即取偽的錯誤,當H0不為真但卻接受了H0.出現(xiàn)取偽錯誤的概率取決于備擇假設H1,它等于H1為真而U落入接收域W-R的概率β,β = P (U ∈ W . R|H1)= . W -R g(u|H1)du,(12.1.12)其中g(u|H1)表示H1為真時統(tǒng)計量U的概率密度.零假設H0對備擇假設H1的檢驗勢或勢函數(shù)定義為檢驗勢=1. β = P (U ∈ R|H1)=. R g(u|H1)du,(12.1.13) 即H1為真而統(tǒng)計量U落入零假設拒絕域R的概率。
圖12.2是假設檢驗中犯第一類錯誤的概率α和犯第二類錯誤的概率β的圖示,顯然,檢驗統(tǒng)計量U及臨界值Uc的合理選擇應當是使α盡可能地小,使檢驗勢1.β盡可能大,因而假設檢驗問題的癥結(jié)在于選擇適當?shù)臋z驗統(tǒng)計量U及其適當?shù)呐R界值Uc。
圖12.2參數(shù)假設檢驗中第一類錯誤的概率α和第二類錯誤的概率β
例12.1單個π0 和多個π0 事例的區(qū)分
考察在氫氣泡室中質(zhì)子反質(zhì)子湮滅產(chǎn)生的粒子,泡室只能顯示帶電粒子的徑跡,通過對徑跡的測量可確定帶電粒子的種類、飛行方向和動量;中性粒子則不能顯示和鑒別.pˉp反應的產(chǎn)物有許多事例觀測到四條徑跡,并可鑒別出它們是π± 介子,但測定了這些π介子的動量后發(fā)現(xiàn),反應初態(tài)(pˉp)和反應末態(tài)(4個π介子) 之間不滿足能量和動量守恒,這表明,反應末態(tài)中還有“丟失”了的中性粒子沒有被觀測到,根據(jù)反應初態(tài)的能、動量和反應末態(tài)四個π介子的能、動量可以求出所謂的“丟失質(zhì)量”(“丟失”的中性粒子的靜止能量之和),事例數(shù)的丟失質(zhì)量分布稱為丟失質(zhì)量譜,分析丟失質(zhì)量譜可知,丟失的中性粒子可能是一個或多個中性π0 介子,因此,pˉp反應事例可以分為產(chǎn)生一個π0 和產(chǎn)生多個π0 兩類.按照假設檢驗的概念,現(xiàn)在的問題可用下述零假設和備擇假設來表示:
H0:pˉp π+π+π.π.π0 ,→ H1:pˉp → π+π+π.π.M(M表示多個π0),丟失質(zhì)量的平方m2 作為檢驗統(tǒng)計量,如果H0成立,即丟失了一個π0 ,那么m2 應當?shù)扔讦? 質(zhì)量的平方,即mπ2 0.顯然,臨界值mc2 的合理選擇應該是略高于mπ2 0.這樣,如果一個事例的丟失質(zhì)量平方小于mc2 ,就有很大可能是產(chǎn)生一個π0 的事例,故接受H0是合理的;反過來若事例的丟失質(zhì)量平方m2 大于mc2 ,那么有很大可能產(chǎn)生一個以上的π0 ,故應當拒絕H0而接受備擇假設H1,認為該事例是一個多π0 事件。
實驗中觀測到的全部事例的丟失質(zhì)量譜一般都是連續(xù)分布,例如,圖12.3(a)就是一個典型的丟失質(zhì)量譜直方圖,這是一個實驗分布,其中包含了測量誤差即實驗分辨函數(shù)的效應(見4.17.1節(jié)),這樣,盡管真實的丟失質(zhì)量小于mπ2 0,但由于測量誤差,測得的m2 卻有一定的概率大于m2 π0;反之,真實的丟失質(zhì)量大于m2 π0時,也有一定的概率實驗測定值卻小于mπ2 0,這就模糊了單π0 事件與多π0 事件的界限,使m2c 的選擇面臨兩難的境地。如果m2c 選得稍高于m2 π0,可以保證多π0 事例被誤認為單π0 事例的概率很小,即取偽錯誤的概率很小,但真實的單π0 事例卻有較大的可能損失掉(棄真的概率較大);反過來,若m2c 比mπ2 0大得多,雖然減小了棄真錯誤的概率,但取偽錯誤的概率卻由此增大了,這種情況在假設檢驗問題中是有代表性的,減小α和減小β這兩個要求常常互相抵觸,必須根據(jù)實際問題作適當?shù)恼壑小?/g(x),(12.1.9)>