在大數據時代背景下,統(tǒng)計學作為數據分析領域的基礎,被應用于各行各業(yè),其方法發(fā)揮著
重要作用。為了更廣泛地普及統(tǒng)計學知識,培養(yǎng)更多的統(tǒng)計學人才,《商務統(tǒng)計學基礎:從不確定性到人工智能》應運而生。
作為入門級圖書,《商務統(tǒng)計學基礎:從不確定性到人工智能》內容安排如下。第 1 章從不確定性出發(fā),講述統(tǒng)計學和不確定性的關
系,以及統(tǒng)計學中用于描述不確定性的各種概率模型。第 2 章是參數估計,系統(tǒng)講述統(tǒng)計學中矩
估計和極大似然估計兩種常用的參數估計方法,并基于兩種方法介紹各種常見概率分布中參數的
點估計和區(qū)間估計。第 3 章是假設檢驗,首先從不確定性的角度探討實際中的各種決策問題,幫
助讀者理解假設檢驗的思想和應用場景,然后系統(tǒng)介紹假設檢驗的方法論及各種常見推廣。第 4
章是回歸分析,首先介紹回歸分析的思想和廣泛的應用場景,然后系統(tǒng)地介紹各類常用模型,從
線性回歸到廣義線性回歸,最終落腳到兩種機器學習算法(決策樹、神經網絡)。
《商務統(tǒng)計學基礎:從不確定性到人工智能》特別強調實際應用,因此各個章節(jié)都輔以大量的實際案例,在介紹統(tǒng)計學基礎知識的同
時培養(yǎng)讀者使用統(tǒng)計學方法解決實際問題的能力。
理發(fā)的時候,Tony 老師總是希望跟我聊天,我想這也許是他們工作 KPI(Key Performance Indicator,關鍵績效指標)的一部分。但是,作為一個教書匠,我每天的正常工作狀態(tài)就是:開會、上課;開會、上課;開會、上課。等到下班后,實在是不想再多說一句話。這位 Tony 老師卻揪著我不依不饒,總是希望撬開我的嘴跟我說點啥。哥,您是做啥的?額,我是教書的。您教啥?額,我教統(tǒng)計學。聽到統(tǒng)計學三個字,Tony 老師的眼睛一下子亮了起來,說:那您一定特別會統(tǒng)計!額……然后現場就有點尷尬了。我知道他說的統(tǒng)計是啥,就是一堆表格唄。但是,這是我熱愛的統(tǒng)計學嗎?顯然不是呀!如果統(tǒng)計學就是數數,那哪里需要一個學科去支持?但很遺憾的是,這就是社會大眾對統(tǒng)計學的一個極大的誤解,而這個誤解可能也影響了統(tǒng)計學的普及和發(fā)展。我們有責任去糾正它,給更廣泛的大眾普及統(tǒng)計學知識,為國家為社會培養(yǎng)更多的統(tǒng)計學人才,用我們的努力去促進統(tǒng)計學在產業(yè)中的應用。而要實現這個雄心壯志,就需要一本面向非統(tǒng)計學專業(yè)讀者的入門級書籍,而這也是我多年的夙愿,終于在北京大學出版社魏雪萍老師的督促下,還有菲菲老師和多位助教同學的支持下,完成本書并呈現給大家。
首先需要強調一點,作為一個有將近二十年教齡的教書匠,隨著歲數的增加,似乎勇氣和信心是單調下降的。教書時間越長,就越告訴自己:我教的東西是沒有辦法保證絕對正確的。原因很簡單,任何一個理論的正確性,都會隨著人們認知的增加,不停地被挑戰(zhàn)。例如,在遙遠的古代,如果人們提出一個理論說大地是平的,那么這個理論應該是正確的,因為該理論跟人們非常有限的物理活動范圍所產生的認知是一致的。但是,后來人們進入了大航海時代,再后來又進入了太空時代,我們發(fā)現以前關于大地是平的理論無法解釋我們感知到的這個世界,因為我們的活動空間變大了太多,所以我們目前的理論說大地其實是一個球形。直到今天,該理論是正確的,因為該理論與人們當前的物理活動范圍所產生的認知是一致的。但是,隨著科學技術的進步,會不會有一天未來的人們進入了某種高維空間,回過頭來看地球的時候,是另外一個景象?鋪墊了這么多,我其實是想誠實地告訴大家:接下來本書所呈現的各種理論和觀點,我都沒有能力保證它的絕對正確性。我能保證的是:第一,這是我多年深入而誠實的思考;第二,我忠實地想和你分享匯報,也請你審慎思考,批判性接受,真誠地希望你能夠多多提出批評意見,雖然我并不一定會被說服,但是我一定會認真聆聽。
在給大家打了上面這個關于理論沒有絕對正確性的預防針后,我想分享下我對統(tǒng)計學理解的第一個執(zhí)念,這個執(zhí)念是統(tǒng)計學到底是研究什么的。我希望給統(tǒng)計學的核心研究內容一個最簡單、直白、高度凝練的定義,將來再碰到 Tony 老師的時候,我能用一句話糾正他關于統(tǒng)計學的錯誤認識。那么,在我的執(zhí)念中,統(tǒng)計學到底是研究什么的?答:不確定性。在我看來,統(tǒng)計學就是一個關于不確定性的學問,只有這個特點,能夠將統(tǒng)計學準確且唯一地與其他學科嚴格區(qū)分開,并彰顯它的獨特之處。很多學者可能認為統(tǒng)計學是一個關于數據的學科。這顯然是一個有道理的觀點,但是我并不太認同。因為,關于數據的學科似乎不僅僅包括統(tǒng)計學,在我看來,計算機、數學、運籌優(yōu)化等領域也都是同數據高度相關的學科。如果標準稍微寬松一點,其實所有的自然學科和社會學科都跟數據相關。畢竟,這是一個大數據時代了!所以,說統(tǒng)計學是一個關于數據的學科,這個說法有道理,但是并不準確,因為它不能準確地表達出統(tǒng)計學區(qū)別于其他學科的最獨特之處。在我看來,統(tǒng)計學是所有學科中唯一的以不確定性為最核心研究目標的學科。為此,統(tǒng)計學的學習一定是從概率論開始,因為概率論是目前應用最廣泛的關于不確定性測量的數學工具。所以,本書就是從這樣一個執(zhí)念開始的,那就是統(tǒng)計學不研究統(tǒng)計,統(tǒng)計學研究不確定性。
既然統(tǒng)計學研究不確定性,那么我們學習統(tǒng)計學的精彩旅程,就應該從不確定性開始。為此,本書的開篇不是講任何數學模型,而是希望幫助大家了悟一個基本事實,那就是:大千世界,小到個人,中到企業(yè)機構,大到國家、全世界,不確定性無處不在,而且非常重要,影響巨大。因此,非常有必要通過建制一個完備的學科,全面系統(tǒng)地研究不確定性,而這個學科就是統(tǒng)計學。為此,你需要了解不同的數據類型,以及適用于不同數據類型的概率模型。為了能夠用不同的概率模型去表達人們所看到的不確定性數據,需要學習以極大似然估計和矩估計為核心的參數估計方法,并在這個基礎上學習以置信區(qū)間和假設檢驗為核心的統(tǒng)計學推斷方法,并因此獲得對不確定性問題做出科學決策的能力。為了進一步理解不確定性的構成,我們需要學習回歸分析,不僅僅是從技術層面,還要從思想層面去學習。什么是回歸分析?回歸分析是統(tǒng)計學中最核心的工具之一,它能幫助我們從不確定性現象中洞察確定性的規(guī)律。能幫助我們理解一個看似完全不確定性的現象,其中可能有一部分是具有確定性規(guī)律的,因此是可以被把握利用的。
通過對不確定性的利用,回歸分析能幫助我們?yōu)樾刨J業(yè)務提供風控模型,為在線營銷提供精準廣告和推薦算法,為量化投資提供自動化資產優(yōu)化建議,以及其他各種非常精彩且重要的實際應用。那么,從純技術的角度看,什么是回歸分析?答:任何研究一個因變量Y 和解釋性變量X 之間相關關系的模型都是回歸分析。為此,人們需要根據Y 和X 的特點,對它們之間可能存在的相關關系,做出必要的數學假設。這樣的假設可能是相對簡單的,這就產生了線性回歸模型和廣義線性回歸模型。當然,也可以是非線性的,這就產生了各種機器學習算法(如決策樹、神經網絡)。其中尤其值得注意的是,多層神經網絡模型構成了深度學習算法的模型基礎,它在非結構化數據(如圖像、自然語言)的分析中獲得了巨大的成功,支撐了大量的人工智能應用。
由此可見,本書的定位是非常獨特的統(tǒng)計學入門書籍。第一,它面向的人群廣泛,主要服務于非統(tǒng)計學的讀者,但是對統(tǒng)計學專業(yè)的同學來說,本書也應該是一個不錯的參考書;第二,它充滿雄心壯志,從不確定性出發(fā),歷經經典統(tǒng)計學的內容(如參數估計、假設檢驗、回歸分析),并最終抵達機器學習和人工智能的彼岸,希望為讀者未來的進一步學習,提供一個好的起點;第三,它非常強調實際應用,全書從頭到尾列舉了大量的實際案例。希望本書能一邊傳授統(tǒng)計學基礎知識,還能一邊幫助讀者了悟這些知識的實際用處。畢竟,編寫本書的目的不僅僅是普及統(tǒng)計學知識和培養(yǎng)統(tǒng)計學人才,還包括推動統(tǒng)計學在產業(yè)中的應用,因此案例非常重要。
最后,感謝北京大學出版社的魏雪萍老師,沒有他的督促,本書難以完成。感謝北京大學出版社的劉云老師,感謝她為本書提供的各種建議。感謝菲菲老師,能夠被我拉上賊船,成為我最依賴的合作伙伴,一起完成這個辛苦的工作。感謝兩位特別給力的助教,他們分別是來自中國人民大學的袁雪瓊同學和來自北京交通大學的劉炯暉同學。兩位同學為本書的形成付出了非常辛苦的工作,也受了不少委屈,謝謝你們!此外,還要感謝購買本書的讀者,感謝你對統(tǒng)計學的好奇心。通過對本書的學習,希望你能掌握一套獨特的方法論,能夠對不確定性有更好的理解甚至把握,并因此為社會做出杰出的貢獻。
王漢生
王漢生 王菲菲
----------------------------
王漢生,北京大學光華管理學院商務統(tǒng)計與經濟計量系,教授,博導,系主任。1998年北京大學數學學院概率統(tǒng)計系本科畢業(yè),2001年美國威斯康星大學麥迪遜分校統(tǒng)計系博士畢業(yè)。2003年加入光華至今。國家杰出青年基金獲得者,全國工業(yè)統(tǒng)計學教學研究會青年統(tǒng)計學家協(xié)會創(chuàng)始會長,美國統(tǒng)計學會(ASA)Fellow,國際統(tǒng)計協(xié)會(ISI)Elected Member,英國皇家統(tǒng)計協(xié)會(RSS)、美國數理統(tǒng)計協(xié)會(IMS)、泛華國際統(tǒng)計協(xié)會(ICSA)的當選會員。著有《數據思維》《數據資產論》(中國人民大學出版社出版)。
王菲菲,中國人民大學副教授,主要研究方向及代表性成果:感興趣的研究方向包括文本挖掘、大規(guī)模數據分析等,曾在《中國科學(數學)》等國內外高水平期刊發(fā)表20余篇文章。
第1章 不確定性的描述
1.1 從不確定性出發(fā) / 002
1.2? 連續(xù)型數據 / 012
1.3 正態(tài)概率密度 / 023
1.4? t- 分布 / 037
1.5 指數分布 / 048
1.6? 0-1 分布 / 059
1.7 泊松分布 / 069
第2章 參數估計
2.1 矩估計 / 081
2.2 極大似然估計 / 090
2.3 正態(tài)分布均值的區(qū)間估計 / 101
2.4 正態(tài)分布方差的區(qū)間估計 / 113
2.5 其他分布參數的區(qū)間估計 / 125 ??
指數分布 / 125 ??
0-1 分布 / 129 ??
泊松分布 / 131 ??
一般分布的均值 / 133 ??
案例演示 / 134 ??
兩樣本問題 / 135
2.6 樣本量計算 / 138 ??
指數分布 / 145 ??
泊松分布 / 147 ??
0-1 分布 / 149 ??
一般分布 / 151
第3章假設檢驗
3.1 不確定性與決策 / 155
3.2 兩種不同類型的錯誤 / 167
3.3 為什么推翻原假設 / 180
3.4 關于均值的假設檢驗問題 / 188
3.5 假設檢驗的各種推廣 / 200 ??
雙樣本檢驗 / 200 ??
方差檢驗 / 204 ??
雙單邊檢驗 / 209
3.6 假設檢驗中的 p 值 / 213
3.7 假設檢驗中的樣本量計算 / 222 ??
單邊假設檢驗 / 223 ??
雙邊假設檢驗 / 226 ??
雙單邊假設檢驗 / 230
第4章回歸分析
4.1 回歸分析是什么 / 237
4.2 數據類型與回歸模型 / 248 ??
第一式:線性回歸 / 248 ??
第二式:0-1 回歸 / 252 ??
第三式:定序回歸 / 254 ??
第四式:計數回歸 / 258 ??
第五式:生存回歸 / 260
4.3 線性回歸模型 / 266 ??
案例介紹 / 266 ??
描述分析 / 268 ??
理論模型 / 272 ??
關于殘差的討論 / 274 ??
參數估計 / 275 ??
假設檢驗 / 279
4.4 時間序列模型 / 283
4.5 0-1 回歸模型 / 297 ??
案例介紹 / 297 ??
描述分析 / 299 ??
模型描述 / 302 ??
參數估計與統(tǒng)計推斷 / 306
4.6 決策樹模型 / 311
4.7 神經網絡模型 / 322