本書將概率論和統(tǒng)計推斷融合在一起,用新的觀點生動地描述了概率論在物理學(xué)、數(shù)學(xué)經(jīng)濟學(xué)、化學(xué)和生物學(xué)等領(lǐng)域中的廣泛應(yīng)用,特別闡述了貝葉斯理論的豐富應(yīng)用,彌補了其他概率論和統(tǒng)計學(xué)教材的不足,全書分為兩部分:第一部分包括10章,講解抽樣理論、假設(shè)檢驗、參數(shù)估計等概率論的原理及其初級應(yīng)用;第二部分包括12章,講解概率論的高級應(yīng)用,如在物理測量、通信理論中的應(yīng)用。本書還附有大量習(xí)題,內(nèi)容全面,體例完整,本書內(nèi)容不局限于某一特定領(lǐng)域,適合涉及數(shù)據(jù)分析的各領(lǐng)域工作者閱讀,也可作為本科生和研究生相關(guān)課程的教材。
《概率論沉思錄》既是一本數(shù)學(xué)書,也是一本科學(xué)哲學(xué)書,還可以被看作一本邏輯學(xué)書,甚至一本生活智慧書,可以幫助我們更好地認(rèn)識這個世界并且更好地生活。本書專注于概念的詳盡解釋,提供大量生活實例和常識的解讀,也講述了概率統(tǒng)計的歷史脈絡(luò)和廣泛應(yīng)用。
埃德溫·湯普森·杰恩斯(1922—1998),著名數(shù)學(xué)物理學(xué)家,曾任圣路易斯華盛頓大學(xué)和斯坦福大學(xué)教授,在統(tǒng)計力學(xué)和概率統(tǒng)計推斷方面有杰出貢獻。1957年發(fā)表了熱力學(xué)的最大熵解釋,1963年與弗雷德·卡明斯一起以完全量子化的方式模擬了電磁場中二能級原子的演化,該模型稱為杰恩斯-卡明斯模型。杰恩斯大力提倡將概率論解釋為邏輯的延伸。
廖海仁,本科畢業(yè)于清華大學(xué)物理系,北京大學(xué)空間物理學(xué)碩士。中國第22次南極科學(xué)考察隊員,曾在南極中山站越冬14個月。目前從事機器學(xué)習(xí)算法研發(fā)工作,2013年全球RTB廣告DSP算法大賽主要組織者之一。
第 一部分 原則和初級應(yīng)用1
第 1章 合情推理2
1.1 演繹推理與合情推理2
1.2 與物理理論的類比5
1.3 思維計算機6
1.4 推理機器人7
1.5 布爾代數(shù)8
1.6 完備運算集合11
1.7 基本的合情條件16
1.8 評注18
1.8.1 普通語言與形式邏輯19
1.8.2 吹毛求疵21
第 2章 定量規(guī)則23
2.1 乘法規(guī)則23
2.2 加法規(guī)則29
2.3 定性屬性33
2.4 數(shù)值35
2.5 記號與有限集合策略41
2.6 評注42
2.6.1 主觀與客觀43
2.6.2 哥德爾定理43
2.6.3 維恩圖46
2.6.4 柯爾莫哥洛夫公理47
第3章 初等抽樣論49
3.1 無放回抽樣49
3.2 邏輯與傾向57
3.3 根據(jù)不精確信息推理61
3.4 期望63
3.5 其他形式和推廣64
3.6 作為數(shù)學(xué)工具的概率65
3.7 二項分布66
3.8 有放回抽樣69
3.9 相關(guān)性校正72
3.10 簡化情形77
3.11 評注78
第4章 初等假設(shè)檢驗82
4.1 先驗概率82
4.2 使用二元數(shù)據(jù)檢驗二元假設(shè)85
4.3 超出二元情形的不可擴展性92
4.4 多重假設(shè)檢驗94
4.5 連續(xù)概率分布函數(shù)102
4.6 檢驗無數(shù)假設(shè)104
4.7 簡單假設(shè)與復(fù)合假設(shè)109
4.8 評注110
4.8.1 詞源110
4.8.2 已有成就111
第5章 概率論的怪異應(yīng)用113
5.1 特異功能113
5.2 斯圖爾特夫人的心靈感應(yīng)能力114
5.2.1 關(guān)于正態(tài)近似115
5.2.2 回到主題116
5.3 意見分歧與趨同120
5.4 視覺感知——進化出“貝葉斯性”? 125
5.5 海王星的發(fā)現(xiàn)126
5.5.1 關(guān)于備擇假設(shè)128
5.5.2 回到牛頓理論130
5.6 賽馬和天氣預(yù)報132
5.7 關(guān)于直覺的悖論136
5.8 貝葉斯法理學(xué)137
5.9 評注139
第6章 初等參數(shù)估計141
6.1 壇子問題的逆141
6.2 N和R均未知142
6.3 均勻先驗144
6.4 預(yù)測分布146
6.5 截斷均勻先驗148
6.6 凹先驗149
6.7 二項式猴子先驗151
6.8 變化為連續(xù)參數(shù)估計154
6.9 使用二項分布進行估計154
6.10 復(fù)合估計問題158
6.11 簡單貝葉斯估計:定量先驗信息159
6.12 定性先驗信息的影響167
6.13 先驗的選擇168
6.14 關(guān)于計算169
6.15 杰弗里斯先驗171
6.16 全部要點173
6.17 區(qū)間估計175
6.18 方差的計算176
6.19 泛化與漸近形式177
6.20 矩形抽樣分布180
6.21 小樣本182
6.22 數(shù)學(xué)技巧182
6.23 評注184
第7章 中心分布、高斯分布或正態(tài)分布187
7.1 吸引現(xiàn)象187
7.2 赫歇爾–麥克斯韋推導(dǎo)189
7.3 高斯推導(dǎo)190
7.4 高斯推導(dǎo)的歷史重要性191
7.5 蘭登推導(dǎo)193
7.6 為什么普遍使用高斯分布?195
7.7 為什么普遍成功?198
7.8 應(yīng)該使用什么估計量? 199
7.9 誤差抵消201
7.10 抽樣頻率分布之近無關(guān)性203
7.11 出色的信息傳輸效率204
7.12 其他抽樣分布205
7.13 作為保險工具的冗余參數(shù)206
7.14 更多一般性質(zhì)207
7.15 高斯函數(shù)的卷積208
7.16 中心極限定理209
7.17 計算準(zhǔn)確度211
7.18 高爾頓的發(fā)現(xiàn)213
7.19 種群動力學(xué)與達(dá)爾文進化216
7.20 蜂鳥和花的進化217
7.21 在經(jīng)濟學(xué)中的應(yīng)用219
7.22 木星和土星的巨大時差220
7.23 分解為高斯分布221
7.24 埃爾米特多項式解222
7.25 傅里葉變換關(guān)系223
7.26 終有希望224
7.27 評注226
第8章 充分性與輔助性229
8.1 充分性229
8.2 費希爾充分性231
8.2.1 示例232
8.2.2 布萊克韋爾–拉奧定理...233
8.3 廣義充分性234
8.4 帶冗余參數(shù)的充分性235
8.5 似然原理236
8.6 輔助性238
8.7 廣義輔助信息239
8.8 漸近似然:費希爾信息242
8.9 結(jié)合不同來源的證據(jù)243
8.10 合并數(shù)據(jù)245
8.11 薩姆的壞溫度計247
8.12 評注249
8.12.1 樣本重復(fù)使用的錯誤..249
8.12.2 民間定理251
8.12.3 先驗信息的作用252
8.12.4 技巧和花招252
第9章 重復(fù)實驗:概率與頻率255
9.1 物理實驗255
9.2 孤陋寡聞的機器人258
9.3 歸納推理260
9.4 是否有一般性歸納法則? 261
9.5 重數(shù)因子264
9.6 分拆函數(shù)算法265
9.7 熵算法268
9.8 另一種視角272
9.9 熵最大化273
9.10 概率和頻率275
9.11 顯著性檢驗276
9.12 ψ和χ^2的比較282
9.13 卡方檢驗284
9.14 推廣286
9.15 哈雷的死亡率表287
9.16 評注291
9.16.1 非理性主義者291
9.16.2 迷信293
第 10章 隨機試驗物理學(xué)295
10.1 有趣的關(guān)聯(lián)295
10.2 歷史背景296
10.3 如何在拋硬幣與擲骰子中作弊298
10.4 一手牌302
10.5 一般隨機試驗304
10.6 再論歸納306
10.7 但是量子理論呢? 307
10.8 云層下的力學(xué)309
10.9 關(guān)于硬幣與對稱性的更多討論310
10.10 拋擲的獨立性315
10.11 無知者的傲慢318
第二部分 高級應(yīng)用319
第 11章 離散先驗概率:熵原理320
11.1 一種新的先驗信息320
11.2 最小化Σp^{2}_{i}322
11.3 熵:香農(nóng)定理323
11.4 沃利斯推導(dǎo)327
11.5 一個示例329
11.6 推廣:更嚴(yán)格的證明331
11.7 最大熵分布的形式性質(zhì)333
11.8 概念問題–頻率對應(yīng)340
11.9 評注345
第 12章 無知先驗和變換群346
12.1 我們要做什么?346
12.2 無知先驗347
12.3 連續(xù)分布348
12.4 變換群351
12.4.1 位置和比例參數(shù)351
12.4.2 泊松率355
12.4.3 未知成功概率355
12.4.4 貝特朗問題358
12.5 評注365
第 13章 決策論:歷史背景368
13.1 推斷與決策368
13.2 丹尼爾·伯努利的建議369
13.3 保險的理論依據(jù)371
13.4 熵與效用372
13.5 誠實的天氣預(yù)報員373
13.6 對丹尼爾·伯努利和拉普拉斯的反應(yīng)374
13.7 沃爾德的決策論376
13.8 最小損失參數(shù)估計380
13.9 問題的重新表述382
13.10 不同損失函數(shù)的影響385
13.11 通用決策論387
13.12 評注388
13.12.1 決策論的“客觀性” 388
13.12.2 人類社會中的損失函數(shù)391
13.12.3 杰弗里斯先驗的新視角393
13.12.4 決策論并不基礎(chǔ)393
13.12.5 另一維度? 394
第 14章 決策論的簡單應(yīng)用396
14.1 定義和基礎(chǔ)396
14.2 充分性和信息398
14.3 損失函數(shù)和最優(yōu)性能準(zhǔn)則400
14.4 離散例子402
14.5 我們的機器人將如何做?407
14.6 歷史評述407
14.7 小部件問題409
14.7.1 階段2的解412
14.7.2 階段3的解414
14.7.3 階段4的解418
14.8 評注419
第 15章 概率論中的悖論420
15.1 悖論如何生存和發(fā)展? 420
15.2 序列求和的簡單方式421
15.3 非聚集性422
15.4 翻滾的四面體424
15.5 有限次拋擲的解427
15.6 有限與可列可加性432
15.7 博雷爾–柯爾莫哥洛夫悖論...435
15.8 邊緣化悖論438
15.9 討論446
15.9.1 DSZ示例5 448
15.9.2 小結(jié)451
15.10 結(jié)果最終有用嗎? 452
15.11 如何批量生產(chǎn)悖論453
15.12 評注454
第 16章 正統(tǒng)方法:歷史背景458
16.1 早期問題458
16.2 正統(tǒng)統(tǒng)計社會學(xué)459
16.3 費希爾、杰弗里斯和奈曼461
16.4 數(shù)據(jù)前和數(shù)據(jù)后考量467
16.5 估計量的抽樣分布468
16.6 親因果與反因果偏差470
16.7 什么是真實的,概率還是現(xiàn)象?473
16.8 評注474
第 17章 正統(tǒng)統(tǒng)計學(xué)原理與病理476
17.1 信息損失476
17.2 無偏估計量477
17.3 無偏估計的病理482
17.4 抽樣方差的基本不等式484
17.5 周期性:中央公園的天氣487
17.6 貝葉斯分析492
17.7 隨機化的愚蠢496
17.8 費希爾:洛桑農(nóng)業(yè)研究所的常識498
17.9 缺失數(shù)據(jù)499
17.10 時間序列中的趨勢和季節(jié)性500
17.10.1 正統(tǒng)方法500
17.10.2 貝葉斯方法501
17.10.3 貝葉斯和正統(tǒng)估計的比較504
17.10.4 改進的正統(tǒng)估計506
17.10.5 效果的正統(tǒng)準(zhǔn)則508
17.11 一般情況509
17.12 評注514
第 18章 A_p分布與連續(xù)法則518
18.1 舊機器人的記憶存儲518
18.2 相關(guān)性520
18.3 令人驚訝的結(jié)果521
18.4 外層和內(nèi)層機器人524
18.5 應(yīng)用526
18.6 拉普拉斯連續(xù)法則528
18.7 杰弗里斯的異議530
18.8 鱸魚還是鯉魚?531
18.9 連續(xù)法則什么時候有用?532
18.10 推廣533
18.11 證實和證據(jù)的權(quán)重535
18.12 卡爾納普的歸納法537
18.13 可交換序列中的概率與頻率539
18.14 頻率預(yù)測540
18.15 一維中子倍增542
18.15.1 頻率解543
18.15.2 拉普拉斯解544
18.16 德菲內(nèi)蒂定理548
18.17 評注550
第 19章 物理測量552
19.1 條件方程的簡化552
19.2 重表述為決策問題554
19.3 欠定情形:K奇異557
19.4 超定情形:K非奇異557
19.5 結(jié)果的數(shù)值計算558
19.6 估計的精度559
19.7 評注561
第 20章 模型比較563
20.1 問題表述564
20.2 公正的法官與殘酷的現(xiàn)實主義者565
20.2.1 參數(shù)預(yù)先已知565
20.2.2 參數(shù)未知566
20.3 簡單性概念何在? 567
20.4 示例:線性響應(yīng)模型569
20.5 評注573
第 21章離群值與穩(wěn)健性576
21.1 實驗者的困境576
21.2 穩(wěn)健性578
21.3 雙模模型580
21.4 可交換選擇581
21.5 一般貝葉斯解582
21.6 確定異常值584
21.7 一個遠(yuǎn)離值585
第 22章 通信理論導(dǎo)論587
22.1 理論起源587
22.2 無噪聲信道588
22.3 信息來源593
22.4 英語有統(tǒng)計性質(zhì)嗎? 595
22.5 已知字頻的最佳編碼597
22.6 依據(jù)二元字母頻率知識的更好編碼599
22.7 與隨機模型的關(guān)系602
22.8 噪聲通道605
附錄A 概率論的其他流派609
A.1 柯爾莫哥洛夫概率系統(tǒng)609
A.2 德菲內(nèi)蒂概率系統(tǒng)614
A.3 比較概率615
A.4 對普遍可比性的反對617
A.5 關(guān)于網(wǎng)格理論的推測618
附錄B 數(shù)學(xué)形式與風(fēng)格620
B.1 記號和邏輯層次結(jié)構(gòu)620
B.2 我們的“謹(jǐn)慎”策略621
B.3 威廉·費勒對于測度論的態(tài)度622
B.4 克羅內(nèi)克與魏爾斯特拉斯的比較624
B.5 什么是合法數(shù)學(xué)函數(shù)?626
B.5.1 德爾塔函數(shù)628
B.5.2 不可微函數(shù)629
B.5.3 臆造的不可微函數(shù)629
B.6 無限集合計數(shù)? 632
B.7 豪斯多夫球體悖論與數(shù)學(xué)病理學(xué)633
B.8 我應(yīng)該發(fā)表什么? 635
B.9 數(shù)學(xué)禮儀636
附錄C 卷積和累積量639
C.1 累積量和矩的關(guān)系641
C.2 示例643
引用文獻645
參考文獻677
譯后記701
人名索引721
術(shù)語索引733