《交通大數(shù)據(jù)》是十三五國家重點出版物出版規(guī)劃項目，共分為6章，主要內(nèi)容包括緒論、交通大數(shù)據(jù)概況、交通大數(shù)據(jù)處理技術(shù)、時空交通大數(shù)據(jù)預(yù)測、視覺交通大數(shù)據(jù)、交通運營大數(shù)據(jù)應(yīng)用與案例。本書可作為計算機、信息技術(shù)、交通運輸相關(guān)專業(yè)的本科生和研究生的教學(xué)參考書，還可供從事大數(shù)據(jù)、交通大數(shù)據(jù)的研究、技術(shù)、工程、應(yīng)用和管理方面的有關(guān)人員參考。
隨著信息技術(shù)對交通行業(yè)運營的支撐作用的不斷增強，各種交通行業(yè)的交通信息系統(tǒng)所產(chǎn)生的數(shù)據(jù)的類型越來越多，數(shù)據(jù)規(guī)模越來越大。交通運輸企業(yè)、交通行業(yè)管理部門、互聯(lián)網(wǎng)交通服務(wù)企業(yè)等交通行業(yè)參與者紛紛規(guī)劃與建成了交通大數(shù)據(jù)平臺，許多交通大數(shù)據(jù)平臺為業(yè)務(wù)現(xiàn)場的許多決策場景起到了實質(zhì)性的支撐作用。在交通大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、實現(xiàn)和應(yīng)用中，需要既能深入理解與掌握大數(shù)據(jù)工程與技術(shù)，又懂交通，理解交通數(shù)據(jù)概貌，對交通大數(shù)據(jù)應(yīng)用需求、應(yīng)用場景和可用技術(shù)具有很強的把握與洞察能力的人才。
《交通大數(shù)據(jù)》按照 知識性、實踐性、系統(tǒng)性的理念，面向蓬勃發(fā)展的交通大數(shù)據(jù)發(fā)展趨勢，系統(tǒng)性地解決了交通信息技術(shù)交叉方向大數(shù)據(jù)研究領(lǐng)域的關(guān)鍵問題，在深刻把握和洞察交通大數(shù)據(jù)應(yīng)用需求、應(yīng)用場景和可用技術(shù)的基礎(chǔ)上，對交通大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、實現(xiàn)和應(yīng)用等重要內(nèi)容進(jìn)行了系統(tǒng)論述，體現(xiàn)了較高的學(xué)術(shù)價值和實用價值，既可以供專業(yè)研究人員進(jìn)行理論實踐研究，又可以作為交通大數(shù)據(jù)行業(yè)領(lǐng)域人才培養(yǎng)的參考書。
隨著信息技術(shù)對交通行業(yè)運營的支撐作用的不斷增強，各種交通行業(yè)的交通信息系統(tǒng)所產(chǎn)生的數(shù)據(jù)的類型越來越多，數(shù)據(jù)規(guī)模越來越大。交通運輸企業(yè)、交通行業(yè)管理部門、互聯(lián)網(wǎng)交通服務(wù)企業(yè)等交通行業(yè)參與者紛紛規(guī)劃并建成了交通大數(shù)據(jù)平臺，許多交通大數(shù)據(jù)平臺為業(yè)務(wù)現(xiàn)場的諸多決策場景起到了實質(zhì)性的支撐作用。在交通大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、實現(xiàn)和應(yīng)用中，需要既能深入理解與掌握大數(shù)據(jù)工程與技術(shù)，又懂交通、理解交通數(shù)據(jù)概貌，對交通大數(shù)據(jù)應(yīng)用需求、應(yīng)用場景和可用技術(shù)具有很強的把握與洞察能力的人才。
作者從事數(shù)據(jù)倉庫、大數(shù)據(jù)領(lǐng)域的教學(xué)近20年，帶領(lǐng)團隊在交通大數(shù)據(jù)及智能技術(shù)領(lǐng)域開展了十余年的研究工作，與許多交通行業(yè)單位有深入的科研與應(yīng)用合作。在教學(xué)、研究和行業(yè)應(yīng)用實踐中，我們發(fā)現(xiàn)在大數(shù)據(jù)特別是交通大數(shù)據(jù)領(lǐng)域，一直沒有既有交通特色，又有先進(jìn)、前沿的大數(shù)據(jù)處理技術(shù)，適合交通運輸專業(yè)、計算機專業(yè)或交通信息技術(shù)交叉方向的本科生和研究生教材。同時，很難找到適合于交通運輸行業(yè)單位的交通大數(shù)據(jù)平臺規(guī)劃、建設(shè)、運維和應(yīng)用單位的管理者、專家和工程師的參考書，也缺少比較全面的適合于交通大數(shù)據(jù)學(xué)術(shù)研究的參考書。
為了解決這些問題，作者編寫了這本以《交通大數(shù)據(jù)》為名的教材。為了使教材內(nèi)容符合定位，作者對全書的內(nèi)容架構(gòu)做了反復(fù)研討與調(diào)整，經(jīng)過多輪迭代，全書的內(nèi)容架構(gòu)終確定為緒論、交通大數(shù)據(jù)概況、交通大數(shù)據(jù)處理技術(shù)、時空交通大數(shù)據(jù)預(yù)測、視覺交通大數(shù)據(jù)、交通運營大數(shù)據(jù)應(yīng)用與案例共6個部分。
北京交通大學(xué)計算機與信息技術(shù)學(xué)院網(wǎng)絡(luò)科學(xué)與智能系統(tǒng)研究所的許多老師與同學(xué)參與了本書的撰寫工作。第1～3章由林友芳負(fù)責(zé)撰寫，第4章由萬懷宇、郭晟楠、林友芳等負(fù)責(zé)撰寫，第5章由張碩、林友芳和呂凱等負(fù)責(zé)編寫，第6章由林友芳、萬懷宇和武志昊等負(fù)責(zé)撰寫。全書由林友芳負(fù)責(zé)統(tǒng)稿。本書第4章的研究實踐與第6章的案例主要來自作者團隊的研究與應(yīng)用實踐，團隊中許多已經(jīng)畢業(yè)的研究生為這些研究與實踐做了實質(zhì)性的貢獻(xiàn)。這些同學(xué)包括蔣睿、林明杰、唐銳、張奧爽、王琨琨、王志偉、周岳騫、周超、葉紹貴、許強永、邱鵬、康友隱、金文蔚、楊皓斐、尹康、馮寧、宋超、蔣鵬、鄒威、鄧玉婧、朱琪超、辛穎、榮斌等。在此對各位同學(xué)的研究工作表示感謝。研究所的許多研究生參與了本書部分材料的組織、內(nèi)容校對等工作，這些同學(xué)主要包括趙苡積、劉云霄、賈子鈺、常松、林彥、溫浩岷、王碩、邸偉強、宋龍澤、王貝貝、杜少華、南寧、趙越、王煒堃、張亞飛、張潤生、賈宇欣、童凱南、沈碩、雷李想、張永凱、陳昱瑾、羅雅文、韋統(tǒng)龍、胡小波、靳希源、尚川、陳佳欣、陳陽玲、荊棟、沈澤琪等。
本書的出版工作得到北京交通大學(xué)出版社的大力支持，正是在出版社孫秀翠老師的督促下，使管理、教學(xué)和科研工作異常繁忙的作者能將本書順利完稿。也正是過于繁忙的工作，使本書在架構(gòu)、邏輯、案例等許多方面仍有不盡如人意的地方，也難免有謬誤之處，懇請讀者不吝賜教，給我們及時提供一些反饋，以期在后續(xù)版本中加以完善。
作 者
2021年7月
林友芳，男，教授，博士生導(dǎo)師，現(xiàn)任北京交通大學(xué)網(wǎng)信辦、網(wǎng)絡(luò)信息技術(shù)中心主任，計算機與信息技術(shù)學(xué)院副院長，交通數(shù)據(jù)分析與挖掘北京市重點實驗室常務(wù)副主任，綜合交通運輸大數(shù)據(jù)應(yīng)用技術(shù)交通運輸部行業(yè)重點實驗室副主任兼交通大數(shù)據(jù)分析挖掘方向首席教授，民航旅客服務(wù)智能化應(yīng)用技術(shù)重點實驗室副主任，北京交通大學(xué)大數(shù)據(jù)研究院院長，北京交通大學(xué)計算機與信息技術(shù)學(xué)院網(wǎng)絡(luò)科學(xué)與智能系統(tǒng)研究所所長，新一代信息技術(shù)及應(yīng)用北京市高精尖學(xué)科負(fù)責(zé)人，北京交通大學(xué)教學(xué)名師。中國計算機學(xué)會(CCF)高級會員，CCF大數(shù)據(jù)專家委員會委員，CCF人工智能與模式認(rèn)識專委會委員。主要從事數(shù)據(jù)挖掘、機器學(xué)習(xí)、復(fù)雜網(wǎng)絡(luò)、社會網(wǎng)絡(luò)、智能技術(shù)與系統(tǒng)、交通數(shù)據(jù)分析與挖掘、民航大數(shù)據(jù)處理、數(shù)據(jù)中心運維大數(shù)據(jù)、信息物理系統(tǒng)、領(lǐng)域自動駕駛等領(lǐng)域的應(yīng)用基礎(chǔ)研究工作，相關(guān)領(lǐng)域的咨詢專家。具有較為豐富的信息系統(tǒng)規(guī)劃、設(shè)計、組織開發(fā)與實施經(jīng)驗。主持與參與項目共計120余項，主持項目50余項，其中多數(shù)為服務(wù)于中大型企業(yè)的科研項目，有大量的大數(shù)據(jù)與智能應(yīng)用研發(fā)成果在重要生產(chǎn)現(xiàn)場得到實際應(yīng)用。發(fā)表論文60余篇，論文發(fā)表在包括IEEE TKDE、TITS等學(xué)術(shù)期刊和AAAI、CVPR、IJCAI、ACM MM、ICDE、ICARCV、ECML PKDD等高級別國際學(xué)術(shù)會議上，其中CCF A類國際期刊、CCFA類會議論文15篇。譯著3本，是經(jīng)典圖書《數(shù)據(jù)倉庫》的主要譯者。
第1章 緒論 1
1.1 從數(shù)據(jù)到智慧 1
1.1.1 數(shù)據(jù) 1
1.1.2 大數(shù)據(jù) 2
1.1.3 信息 2
1.1.4 知識 4
1.1.5 智能 6
1.1.6 人工智能 7
1.1.7 決策 8
1.1.8 智慧 13
1.1.9 數(shù)據(jù)分析與挖掘 15
1.1.10 機器學(xué)習(xí) 16
1.2 交通運輸行業(yè)基礎(chǔ)知識 20
1.2.1 交通運輸?shù)亩x 20
1.2.2 交通運輸業(yè)分類簡介 20
1.2.3 交通行業(yè)參與者及訴求 22
1.3 交通行業(yè)中的決策與決策支持 25
1.3.1 運輸企業(yè)內(nèi)部決策與決策支持 25
1.3.2 交通行業(yè)服務(wù)對象決策與決策支持 26
1.3.3 政府與行業(yè)管理部門決策與決策支持 27
1.4 交通行業(yè)信息化發(fā)展 27
1.4.1 運輸組織與安全生產(chǎn)信息化 27
1.4.2 運輸客貨營銷與服務(wù)信息化 28
1.4.3 運輸企業(yè)經(jīng)營管理信息化 29
1.4.4 政府與交通運輸行業(yè)管理信息化 29
1.4.5 交通運輸行業(yè)信息化的發(fā)展趨勢 29
1.5 交通大數(shù)據(jù)研究與應(yīng)用定位 32
1.5.1 交通運輸運營效率 32
1.5.2 交通與社會安全 33
1.5.3 交通服務(wù)質(zhì)量 33
1.6 本書內(nèi)容結(jié)構(gòu) 34
第2章 交通大數(shù)據(jù)概況 35
2.1 交通大數(shù)據(jù)形態(tài) 35
2.1.1 基于內(nèi)容格式的交通大數(shù)據(jù)分類 36
2.1.2 原始數(shù)據(jù)與導(dǎo)出數(shù)據(jù) 42
2.1.3 數(shù)據(jù)使用與分類 42
2.1.4 交易、行為與日志數(shù)據(jù) 43
2.1.5 元數(shù)據(jù) 45
2.2 交通地理大數(shù)據(jù) 46
2.2.1 交通地理空間單元層數(shù)據(jù) 46
2.2.2 交通網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù) 48
2.2.3 交通地理層數(shù)據(jù) 49
2.3 客貨營銷與服務(wù)大數(shù)據(jù) 50
2.3.1 客運營銷大數(shù)據(jù) 50
2.3.2 貨運營銷大數(shù)據(jù) 52
2.3.3 客貨服務(wù)大數(shù)據(jù) 53
2.3.4 營銷市場環(huán)境大數(shù)據(jù) 55
2.4 交通網(wǎng)絡(luò)生產(chǎn)運行與安全大數(shù)據(jù) 55
2.4.1 運輸生產(chǎn)計劃與調(diào)度大數(shù)據(jù) 56
2.4.2 運輸生產(chǎn)作業(yè)流程與保障大數(shù)據(jù) 57
2.4.3 交通運輸流與客貨流大數(shù)據(jù) 60
2.4.4 交通運輸安全大數(shù)據(jù) 62
2.4.5 交通導(dǎo)航與移動終端大數(shù)據(jù) 65
2.5 交通運輸企業(yè)運營管理與行業(yè)管理大數(shù)據(jù) 66
2.5.1 交通運輸企業(yè)運營管理大數(shù)據(jù) 66
2.5.2 政府與行業(yè)管理部門交通大數(shù)據(jù) 67
2.6 本章小結(jié) 67
第3章 交通大數(shù)據(jù)處理技術(shù) 69
3.1 大數(shù)據(jù)及處理概述 69
3.1.1 大數(shù)據(jù)基本概念與特征 69
3.1.2 大數(shù)據(jù)生命周期模型組成 70
3.1.3 大數(shù)據(jù)平臺與數(shù)據(jù)倉庫 72
3.2 交通大數(shù)據(jù)系統(tǒng)常見架構(gòu) 79
3.2.1 企業(yè)大數(shù)據(jù)平臺系統(tǒng)架構(gòu)設(shè)計因素 79
3.2.2 交通客貨運營支撐大數(shù)據(jù)平臺典型架構(gòu) 82
3.2.3 互聯(lián)網(wǎng) 交通企業(yè)典型大數(shù)據(jù)平臺架構(gòu) 87
3.2.4 交通指揮控制大數(shù)據(jù)平臺架構(gòu) 89
3.3 交通大數(shù)據(jù)的生成與采集 91
3.3.1 交通信息系統(tǒng)數(shù)據(jù)生成與采集 91
3.3.2 基礎(chǔ)采集設(shè)備 92
3.3.3 專用采集系統(tǒng) 95
3.4 交通大數(shù)據(jù)集成 96
3.4.1 數(shù)據(jù)集成方法 97
3.4.2 實時、近實時集成技術(shù) 98
3.4.3 異常值檢測方法 102
3.4.4 缺失值處理方法 106
3.5 交通大數(shù)據(jù)組織、存儲與維護(hù) 114
3.5.1 大數(shù)據(jù)應(yīng)用主題與數(shù)據(jù)組織方法 114
3.5.2 多粒度級數(shù)據(jù)組織策略 118
3.5.3 操作型數(shù)據(jù)存儲 124
3.5.4 交通大數(shù)據(jù)存儲技術(shù) 127
3.5.5 交通大數(shù)據(jù)載入、更新與維護(hù)技術(shù) 135
3.6 交通大數(shù)據(jù)典型應(yīng)用系統(tǒng)模式 142
3.6.1 交通大數(shù)據(jù)服務(wù)系統(tǒng) 143
3.6.2 交通大數(shù)據(jù)驅(qū)動智慧業(yè)務(wù)系統(tǒng) 144
3.6.3 數(shù)據(jù)驅(qū)動交通企業(yè)生產(chǎn)運營管理決策支持系統(tǒng) 145
3.6.4 大數(shù)據(jù)驅(qū)動交通客戶決策支持系統(tǒng) 146
3.6.5 基于交通大數(shù)據(jù)的智能算法訓(xùn)練及應(yīng)用系統(tǒng)研發(fā)平臺 148
3.7 本章小結(jié) 149
第4章 時空交通大數(shù)據(jù)預(yù)測 150
4.1 時空交通大數(shù)據(jù)概述 150
4.1.1 時空交通數(shù)據(jù)的類型 150
4.1.2 時空交通數(shù)據(jù)的典型特征 153
4.2 時空交通數(shù)據(jù)預(yù)測任務(wù) 155
4.2.1 交通流量預(yù)測 155
4.2.2 交通需求預(yù)測 155
4.2.3 交通狀態(tài)預(yù)測 156
4.2.4 通行時間預(yù)測 156
4.2.5 交通事故風(fēng)險預(yù)測 156
4.2.6 用戶位置預(yù)測 156
4.2.7 出行路徑預(yù)測 157
4.3 傳統(tǒng)時間序列預(yù)測方法 157
4.3.1 傳統(tǒng)統(tǒng)計預(yù)測方法 157
4.3.2 傳統(tǒng)機器學(xué)習(xí)預(yù)測方法 159
4.4 深度學(xué)習(xí)預(yù)測方法 163
4.4.1 時空網(wǎng)格數(shù)據(jù)預(yù)測 164
4.4.2 時空圖數(shù)據(jù)預(yù)測 174
4.4.3 時空軌跡數(shù)據(jù)預(yù)測 183
4.5 本章小結(jié) 191
第5章 視覺交通大數(shù)據(jù) 192
5.1 視覺交通大數(shù)據(jù)概述 192
5.1.1 線路監(jiān)控視覺數(shù)據(jù) 192
5.1.2 車載視覺數(shù)據(jù) 193
5.1.3 站場監(jiān)控數(shù)據(jù) 193
5.2 交通視覺數(shù)據(jù)分析任務(wù) 194
5.2.1 道路監(jiān)控數(shù)據(jù)分析任務(wù) 194
5.2.2 車載視覺數(shù)據(jù)分析任務(wù) 195
5.2.3 站場監(jiān)控數(shù)據(jù)分析任務(wù) 196
5.3 靜態(tài)交通場景感知相關(guān)技術(shù) 196
5.3.1 通用目標(biāo)檢測方法 197
5.3.2 行人檢測方法 201
5.3.3 交通場景語義分割方法 203
5.3.4 車道線檢測方法 204
5.3.5 三維場景重建技術(shù) 206
5.4 動態(tài)交通場景感知相關(guān)技術(shù) 210
5.4.1 單目標(biāo)跟蹤方法 210
5.4.2 多目標(biāo)跟蹤方法 213
5.4.3 行人重識別方法 215
5.4.4 車輛重識別方法 217
5.5 本章小結(jié) 220
第6章 交通運營大數(shù)據(jù)應(yīng)用與案例 221
6.1 交通運營大數(shù)據(jù)應(yīng)用概述 222
6.1.1 交通運營大數(shù)據(jù)應(yīng)用常見場景 222
6.1.2 交通運營應(yīng)用相關(guān)的數(shù)據(jù) 222
6.2 交通產(chǎn)品需求預(yù)測案例航班需求預(yù)測 223
6.2.1 概述 223
6.2.2 航班需求預(yù)測問題定義 224
6.2.3 解決方案 225
6.2.4 實驗分析 228
6.2.5 小結(jié) 231
6.3 交通產(chǎn)品價格預(yù)測案例機票價格預(yù)測 231
6.3.1 概述 231
6.3.2 案例背景 232
6.3.3 機票價格預(yù)測問題定義 232
6.3.4 解決方案 234
6.3.5 實驗分析 237
6.3.6 小結(jié) 239
6.4 交通產(chǎn)品推薦案例民航旅客后續(xù)行程預(yù)測與推薦 240
6.4.1 概述 240
6.4.2 案例背景 241
6.4.3 民航旅客后續(xù)行程預(yù)測問題定義 241
6.4.4 解決方案 242
6.4.5 實驗分析 245
6.4.6 小結(jié) 249
6.5 交通用戶群體分析案例民航旅客社交網(wǎng)絡(luò)挖掘 249
6.5.1 概述 249
6.5.2 民航旅客社交網(wǎng)絡(luò)構(gòu)建 250
6.5.3 家庭團體發(fā)現(xiàn) 253
6.5.4 小結(jié) 257
6.6 交通用戶價值預(yù)測案例民航旅客價值預(yù)測 257
6.6.1 概述 257
6.6.2 案例背景 258
6.6.3 民航旅客價值預(yù)測問題定義 258
6.6.4 解決方案 260
6.6.5 實驗分析 263
6.6.6 小結(jié) 265
6.7 交通用戶行為預(yù)測案例民航旅客出行目的推斷 265
6.7.1 概述 265
6.7.2 案例背景 266
6.7.3 民航旅客出行目的推斷問題定義 267
6.7.4 解決方案 268
6.7.5 實驗分析 274
6.7.6 小結(jié) 277
6.8 交通產(chǎn)品庫存預(yù)測案例基于庫存變化預(yù)測的智能緩存優(yōu)化 277
6.8.1 案例背景 278
6.8.2 在線訂票系統(tǒng)的緩存策略 279
6.8.3 數(shù)據(jù)準(zhǔn)備 280
6.8.4 庫存變化時間間隔預(yù)測 281
6.8.5 動態(tài)緩存有效時間設(shè)置 282
6.8.6 技術(shù)應(yīng)用效果 282
6.9 交通流量仿真案例基于歷史通行數(shù)據(jù)的高速公路流量仿真 284
6.9.1 案例背景 284
6.9.2 解決方案框架 284
6.9.3 數(shù)據(jù)描述 285
6.9.4 相關(guān)算法 286
6.10 本章小結(jié) 288
參考文獻(xiàn) 289
書單推薦
