本書對因果推斷進行了介紹,全書分為五個部分:首先在第1至3章介紹了因果推斷研究的背景,以及基于圖模型分析進行因果推斷所需要的基礎知識;第二部分包括第4至5章,介紹了因果推斷中的干預分析和反事實分析;第三部分包括第6至7章,是因果推斷的進階內(nèi)容,在干預分析和反事實分析基礎上介紹了因果關系概率的計算以及復雜條件下因果效應的計算;第四部分內(nèi)容是因果關系中反映各個變量之間關系的圖模型結構的學習,相應內(nèi)容在第8章;最后在第9章以推薦系統(tǒng)和強化學習為例,對因果推斷的應用進行了簡單介紹。
近年來,人工智能技術取得了長足的進步,DeepMind公司的AlphaGo橫掃世界圍棋頂尖高手,AlphaFold能夠精確地基于氨基酸序列來預測蛋白質(zhì)結構,其準確性可以與使用冷凍電子顯微鏡(CryoEM)、核磁共振或X單晶衍射等方法解析蛋白質(zhì)結構的準確性相媲美。人工智能技術在許多領域取得了不可思議的進步,語音翻譯、圖像場景識別等曾是科幻小說中夢想的成就,現(xiàn)在已經(jīng)成為現(xiàn)實。在技術突破和市場需求的多方驅(qū)動下,人工智能技術已經(jīng)從學術走向?qū)嵺`,正加速向各個產(chǎn)業(yè)滲透,改造各行各業(yè)。如同蒸汽時代的蒸汽機、電氣時代的發(fā)電機、信息時代的計算機和互聯(lián)網(wǎng),人工智能正成為推動人類進入智能時代的決定性力量。
但是,現(xiàn)有的人工智能技術幾乎都是基于統(tǒng)計學或黑箱的形式,主要關注變量之間的相關性而非因果性,這使其性能有嚴重的理論局限性。它在動物擅長的一些技能方面表現(xiàn)并不好,特別是將解決問題的能力遷移至新問題,以及進行任意形式的泛化時。一些常識問題對于人類而言很簡單,但對于現(xiàn)在的人工智能技術而言并不簡單。因此,2011年圖靈獎得主、貝葉斯網(wǎng)絡之父朱迪亞·珀爾(Judea Pearl)教授認為,現(xiàn)在人工智能技術的發(fā)展進入了新的瓶頸期,“所有令人印象深刻的深度學習成果加起來不過是曲線擬合罷了”(All the impressive achievements of deep learning amount to just curve fitting),而且“深度學習技術是一種非常通用和強大的曲線擬合技術,它可以識別以前隱藏的模式,推斷出趨勢,并預測出各種問題的結果,但它僅僅停留在相關性這個層次上,也就是曲線擬合,而曲線擬合方法在表示給定數(shù)據(jù)集方面的一個風險是過度擬合,即算法不能識別出數(shù)據(jù)中的正常波動,最終會被干擾所迷惑”。珀爾認為,除非算法及其控制的機器能夠推理因果關系,或者至少概念化差異,否則算法的效用和通用性永遠不會接近于人類。麻省理工學院(MIT)的研究人員發(fā)表的一篇論文也指出,要創(chuàng)建類人的學習和思考的機器,需要它們能夠構建出世界的因果模型,能夠理解和解釋它們的環(huán)境,而不僅僅是使用模式識別來解決問題。因此,現(xiàn)有的人工智能技術需要超越現(xiàn)在的相關性關系層次,深入探究因果關系,最終制造出像人一樣思考的機器。
因果關系一直是人類認識世界的基本方式,也是現(xiàn)代科學的兩大基石之一。自古以來,關于因果關系的研究一直吸引著人們。通過系統(tǒng)性觀察和試驗發(fā)現(xiàn)自然規(guī)律、探索現(xiàn)象之間的因果關系,一直是各種科學研究的最終目標。愛因斯坦就認為西方科學是建立在以因果律為基礎的形式邏輯之上的。
相關性關系與因果關系之間的關系由萊辛巴赫(Reichenbach)形式化為著名的共同原因原理,即如果兩個隨機變量X和Y在統(tǒng)計學上具有相關性,那么其相互關系必為以下關系之一:
● X導致Y;
● Y導致X;
● 存在一個隨機變量Z,它是引起X和Y的共同原因。
因此,與相關性關系相比,因果關系具有更多的信息量,體現(xiàn)了變量之間更本質(zhì)的關系。因果推斷的中心任務就是研究變量之間的因果關系:
● 分析如果某些變量被干預會發(fā)生什么;
● 分析影響干預及其結果的混雜因素;
● 分析以前從未觀察到的情況的結果。
因果關系與相關性關系不同,相關性關系指的是,如果我們觀測到了一個變量X的分布,就能推斷出另一個變量Y的分布,那么說明X和Y是有相關性的。而因果性則強調(diào),如果我們干預了某個變量X,且這種干預引起了變量Y的變化,那么我們才能說明X是Y的因(cause),而Y是X的果(effect)——這是因果關系的基本出發(fā)點;谝蚬P系的分析方法,我們可以避免得出“制止公雞打鳴就可以阻擋日出”這樣荒謬的結論。因此,基于因果關系的預測方法比基于相關性關系的預測方法更具有普適性。我們在人工智能研究中需要尋找這樣的因果關系,而不僅僅是簡單的相關性關系。
除人工智能研究領域之外,因果推斷在經(jīng)濟學、社會學、醫(yī)學和法學等領域也有廣泛的應用。比如,在廣告界有一句廣為流傳的話:“我知道我的廣告費有一半被浪費了,但遺憾的是,我不知道是哪一半被浪費了。”這實際上是一個衡量廣告效果的問題。因為無法很精確地衡量廣告的效果,所以沒辦法進行進一步的廣告投放優(yōu)化,只能白白浪費廣告費。從因果推斷的角度來看,如果我們把投放廣告看作一種“干預”(intervention),這個問題其實就是廣告投放的因果效應分析問題,需要我們通過因果推斷的方法進行分析。
從數(shù)據(jù)中分析、挖掘相關性關系的研究發(fā)展迅速,相關學習資料也很多,但因果推斷方面的學習資料還相對較少。國外有少量關于因果推斷的書籍。Judea Pearl教授在因果推斷方面有三本著作:The Book of Why: The New Science of Cause and Effect、Causal Inference in Statistics: A Primer和Causality: Models,Reasoning,and Inference。耶魯大學Scott Cunningham教授編寫的Causal Inference:The Mixtape 2021年剛出版。哈佛大學流行病學家James Robins和他的同事也在寫一本關于因果推斷的書,目前提供了網(wǎng)絡版。這些書籍從不同角度對因果推斷進行了介紹,并且對因果推斷各個方面的問題都有比較精辟的論
前言
第1章緒論1
1.1辛普森悖論1
1.2相關性與因果關系5
1.3變量之間的關系9
1.4本書主要內(nèi)容及安排11
第2章數(shù)學基礎13
2.1隨機變量和隨機事件13
2.1.1隨機變量13
2.1.2隨機事件14
2.2概率及其計算16
2.2.1概率與條件概率16
2.2.2概率分布19
2.2.3概率的計算公式19
2.3獨立性22
2.4貝葉斯公式及其應用25
2.5隨機變量的數(shù)字特征30
2.6回歸33
2.6.1一元線性回歸33
2.6.2多元線性回歸35
2.7因果關系的表示:圖模型與結構
因果模型37
2.7.1因果關系的概念37
2.7.2圖模型38
2.7.3結構因果模型40
2.7.4圖模型和結構因果模型的
比較41
2.8因子分解42
2.8.1圖模型的馬爾可夫性43
2.8.2因子分解表達式44
2.9圖模型結構的程序?qū)崿F(xiàn)46
2.9.1R軟件的安裝46
2.9.2DAGitty包的安裝與
加載48
2.9.3圖模型的生成50
第3章圖模型分析55
3.1基本圖模型結構的分析55
3.1.1鏈式結構56
3.1.2分叉結構57
3.1.3對撞結構59
3.2d劃分66
3.2.1d劃分的概念66
3.2.2d劃分的判斷70
3.2.3d劃分變量集合搜索73
3.3圖模型與概率分布78
3.4圖模型分析的程序?qū)崿F(xiàn)80
第4章干預分析89
4.1因果效應的調(diào)整表達式計算89
4.1.1混雜偏差89
4.1.2干預的數(shù)學表達90
4.1.3通過調(diào)整表達式計算
因果效應92
4.1.4調(diào)整變量的設計96
4.2后門準則與前門準則101
4.2.1后門準則101
4.2.2前門準則107
4.3多變量干預和特定變量
取值干預112
4.3.1多變量干預112
4.3.2特定變量取值時的干預
分析115
4.3.3條件干預118
4.4直接因果效應與間接因果效應119
4.5因果效應的估計125
4.5.1反概率權重法125
4.5.2傾向值評分匹配法129
4.6線性系統(tǒng)中的因果推斷133
4.6.1線性系統(tǒng)因果推斷分析的
特點133
4.6.2路徑系數(shù)及其在因果推斷
分析中的應用137
4.6.3線性系統(tǒng)中路徑系數(shù)的
計算141
4.7工具變量150
4.8干預分析的程序?qū)崿F(xiàn)154
4.8.1獲取調(diào)整變量集合154
4.8.2通過傾向值評分匹配
計算ACE158
第5章反事實分析及其應用164
5.1反事實概念的引入及表達
符號164
5.2反事實分析的基本方法168
5.2.1反事實假設與結構因果
模型修改168
5.2.2反事實分析的基本法則171
5.3反事實分析計算173
5.3.1外生變量取值與個體173
5.3.2確定性反事實分析175
5.3.3概率性反事實分析177
5.3.4反事實分析中概率計算的
一般化方法182
5.4反事實符號表達式與do算子符號
表達式的對比185
5.5基于圖模型的反事實分析191
5.6SCM參數(shù)未知及線性環(huán)境下的
反事實分析195
5.6.1SCM參數(shù)未知條件下的反
事實分析195
5.6.2線性模型在給定事實條件下
的反事實分析198
5.7中介分析201
5.7.1自然直接效應和自然間接
效應的定義202
5.7.2自然直接效應和自然間接
效應的計算204
5.8反事實的應用205
第6章因果關系概率分析211
6.1因果關系概率的定義211
6.2因果關系概率的性質(zhì)214
6.3必要性概率與充分性概率的
量化計算216
6.3.1外生性與單調(diào)性216
6.3.2在外生性條件下PN、PS和
PNS的計算219
6.3.3在外生性和單調(diào)性條件下
PN、PS和PNS的計算221
6.3.4在不具有外生性但具有單調(diào)性
條件下PN、PS和PNS的
計算222
6.3.5在外生性和單調(diào)性都不成立
條件下PN、PS和PNS的
計算226
6.4因果關系概率的應用228
第7章復雜條件下因果效應的
計算2387.1非理想依從條件下因果效應的
計算238
7.1.1研究模型假設238
7.1.2一般條件下平均因果
效應的計算239
7.1.3附加假設條件下平均因果
效應的計算243
7.2已干預條件下因果效應的計算246
7.2.1ETT的計算247
7.2.2增量干預的計算249
7.2.3非理想依從條件下ETT的
計算251
7.3復雜圖模型條件下因果效應的
計算253
7.3.1do算子推理法則253
7.3.2do算子推理法則應用
示例254
7.3.3因果效應的可識別性257
7.3.4試驗中干預變量的替代
設計262
7.4非理想數(shù)據(jù)采集條件下因果
效應的計算265
第8章圖模型結構的學習270
8.1圖模型結構學習算法概述270
8.1.1圖模型結構學習的過程270
8.1.2圖模型結構學習的假設271
8.2圖模型結構學習算法的分類及基于
評分的學習算法簡介272
8.3基于約束的算法273