目錄
第一部分 大數(shù)據(jù)處理與分析理論
第1章　大數(shù)據(jù)概述 2
1.1　大數(shù)據(jù)概念 2
1.1.1 大數(shù)據(jù)定義與內(nèi)涵 2
1.1.2 大數(shù)據(jù)的特征 2
1.1.3 數(shù)據(jù)類型 4
1.2　大數(shù)據(jù)的應(yīng)用 4
1.3　大數(shù)據(jù)的處理流程 7
1.3.1 大數(shù)據(jù)處理的基本流程 7
1.3.2 數(shù)據(jù)采集 7
1.3.3 數(shù)據(jù)預(yù)處理 8
1.3.4 數(shù)據(jù)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘 8
1.3.5 數(shù)據(jù)可視化 10
1.4　大數(shù)據(jù)平臺(tái)技術(shù) 11
1.4.1 大數(shù)據(jù)系統(tǒng)生態(tài) 11
1.4.2 大數(shù)據(jù)存儲(chǔ)與管理 12
1.4.3 大數(shù)據(jù)計(jì)算與處理 15
思考題 19
本章參考文獻(xiàn) 19
第2章　數(shù)據(jù)獲取與預(yù)處理 21
2.1　數(shù)據(jù)獲取與預(yù)處理概述 21
2.1.1 數(shù)據(jù)獲取 21
2.1.2 數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換 22
2.1.3 數(shù)據(jù)加載 22
2.2　數(shù)據(jù)獲取技術(shù) 23
2.2.1 數(shù)據(jù)獲取技術(shù)概述 23
2.2.2 網(wǎng)絡(luò)爬蟲 24
2.3　數(shù)據(jù)預(yù)處理 28
2.3.1 數(shù)據(jù)質(zhì)量 28
2.3.2 數(shù)據(jù)清洗 29
2.3.3 數(shù)據(jù)集成 31
2.3.4 數(shù)據(jù)轉(zhuǎn)換 33
2.3.5 數(shù)據(jù)歸約 34
2.4　數(shù)據(jù)集的構(gòu)建 36
2.4.1 數(shù)據(jù)集的劃分 36
2.4.2 重抽樣方法 36
思考題 38
本章參考文獻(xiàn) 38
第3章　回歸分析 40
3.1　回歸分析概述 40
3.2　線性回歸 41
3.3　非線性回歸 42
3.4　分位數(shù)回歸 44
思考題 46
本章參考文獻(xiàn) 46
第4章　分類分析 48
4.1　分類分析概述 48
4.2　貝葉斯分類 50
4.2.1 貝葉斯分類的原理 50
4.2.2 貝葉斯分類的應(yīng)用與實(shí)例 53
4.3　Logistic回歸 54
4.3.1 Logistic回歸的原理 54
4.3.2 Logistic回歸模型的訓(xùn)練 55
4.3.3 帶正則項(xiàng)的Logistic回歸 56
4.3.4 Logistic回歸的應(yīng)用 56
4.4　KNN 57
4.5　支持向量機(jī) 59
4.5.1 線性可分離數(shù)據(jù)的支持向量機(jī) 59
4.5.2 不可分離數(shù)據(jù)的支持向量機(jī) 62
4.5.3 非線性支持向量機(jī) 64
4.6　決策樹 65
4.6.1 決策樹簡介 65
4.6.2 ID3算法 66
4.6.3 C4.5算法 67
4.6.4 CART算法 69
4.7　集成學(xué)習(xí) 72
4.7.1 集成學(xué)習(xí)概述 72
4.7.2 隨機(jī)森林 73
4.7.3 AdaBoost 75
4.7.4 GBDT 76
4.7.5 XGBoost 77
4.8　分類器評估 80
思考題 84
本章參考文獻(xiàn) 84
第5章　聚類分析 86
5.1　聚類的特征提取 86
5.1.1 過濾器模型 87
5.1.2 包裝器模型 89
5.2　基于代表的聚類 90
5.2.1 K-Means算法 90
5.2.2 核K-Means算法 91
5.2.3 K-Medians算法 91
5.2.4 K-Medoids算法 92
5.3　層次聚類 93
5.3.1 自下而上的聚類 93
5.3.2 自上而下的聚類 96
5.4　基于網(wǎng)格和密度的聚類 97
5.4.1 基于網(wǎng)格的聚類算法 97
5.4.2 DBSCAN算法 99
5.4.3 DENCLUE算法 101
5.5　聚類的有效性 102
5.5.1 內(nèi)部驗(yàn)證方法 102
5.5.2 外部驗(yàn)證方法 103
思考題 104
本章參考文獻(xiàn) 105
第6章　深度學(xué)習(xí) 106
6.1　深度學(xué)習(xí)概述 106
6.2　BP神經(jīng)網(wǎng)絡(luò) 107
6.2.1 激活函數(shù) 107
6.2.2 BP算法的基本原理 110
6.3　卷積神經(jīng)網(wǎng)絡(luò) 113
6.3.1 從全連接到卷積 113
6.3.2 卷積層 113
6.3.3 匯聚層 117
6.3.4 典型的卷積神經(jīng)網(wǎng)絡(luò) 118
6.4　循環(huán)神經(jīng)網(wǎng)絡(luò) 122
6.4.1 RNN的展開 123
6.4.2 RNN的結(jié)構(gòu) 123
6.4.3 雙向RNN 125
6.4.4 基于門控的RNN 126
6.5　Word2Vec 128
6.6　圖神經(jīng)網(wǎng)絡(luò) 131
6.6.1 圖的概念 131
6.6.2 節(jié)點(diǎn)的中心性 131
6.6.3 圖嵌入 133
6.6.4 圖卷積神經(jīng)網(wǎng)絡(luò) 135
思考題 136
本章參考文獻(xiàn) 137
第二部分 能源系統(tǒng)與能源大數(shù)據(jù)應(yīng)用
第7章　能源系統(tǒng) 140
7.1　能源的定義和分類 140
7.2　能源系統(tǒng)及其演化 144
7.2.1 能源系統(tǒng)概述 144
7.2.2 典型的能源系統(tǒng) 145
7.2.3 能源系統(tǒng)的演化 149
7.3　能源互聯(lián)網(wǎng)與智慧能源 151
7.3.1 能源互聯(lián)網(wǎng)的內(nèi)涵 151
7.3.2 能源互聯(lián)網(wǎng)的功能 155
7.3.3 能源互聯(lián)網(wǎng)的技術(shù)框架 157
7.3.4 智慧能源的內(nèi)涵 159
7.3.5 智慧能源的體系架構(gòu) 159
7.3.6 智慧能源的發(fā)展趨勢 161
思考題 163
本章參考文獻(xiàn) 163
第8章　能源大數(shù)據(jù)應(yīng)用 164
8.1　能源大數(shù)據(jù)的內(nèi)涵 164
8.2　能源經(jīng)濟(jì)與管理大數(shù)據(jù)應(yīng)用 166
8.2.1 能源經(jīng)濟(jì)與管理大數(shù)據(jù)應(yīng)用概況 166
8.2.2 國內(nèi)外能源經(jīng)濟(jì)與管理大數(shù)據(jù)平臺(tái)介紹 167
8.3　煤炭大數(shù)據(jù)應(yīng)用 170
8.3.1 煤炭大數(shù)據(jù)應(yīng)用概況 170
8.3.2 智能礦山平臺(tái) 171
8.3.3 國內(nèi)外應(yīng)用情況 176
8.4　油氣大數(shù)據(jù)應(yīng)用 182
8.4.1 油氣大數(shù)據(jù)應(yīng)用概況 182
8.4.2 油氣大數(shù)據(jù)體系架構(gòu) 184
8.4.3 油田應(yīng)用情況 186
8.5　電力大數(shù)據(jù)應(yīng)用 191
8.5.1 電力大數(shù)據(jù)應(yīng)用概況 191
8.5.2 電力大數(shù)據(jù)體系架構(gòu) 193
8.5.3 國內(nèi)外應(yīng)用情況 195
思考題 199
本章參考文獻(xiàn) 199
第三部分 能源大數(shù)據(jù)處理與分析實(shí)踐
第9章　能源經(jīng)濟(jì)與管理大數(shù)據(jù)處理與分析案例 202
9.1　能源政策文本分析 202
9.1.1 案例描述 202
9.1.2 能源政策文本數(shù)據(jù)采集 202
9.1.3 能源政策詞云圖 205
9.2　國際LNG貿(mào)易網(wǎng)絡(luò)分析 206
9.2.1 案例描述 206
9.2.2 數(shù)據(jù)預(yù)處理與圖的生成 206
9.2.3 LNG貿(mào)易網(wǎng)絡(luò)節(jié)點(diǎn)中心性 208
9.2.4 LNG貿(mào)易網(wǎng)絡(luò)的圖嵌入 209
第10章　煤炭大數(shù)據(jù)分析案例 211
10.1　煤炭類型識(shí)別 211
10.1.1 案例描述 211
10.1.2 實(shí)現(xiàn)步驟 211
10.1.3 程序?qū)崿F(xiàn)與結(jié)果分析 212
10.2　煤礦地震預(yù)測 215
10.2.1 案例描述 215
10.2.2 模型方法與數(shù)據(jù)集 215
10.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 216
第11章　油氣大數(shù)據(jù)分析案例 219
11.1　油氣消費(fèi)量的影響因素分析 219
11.1.1 案例描述 219
11.1.2 回歸分析 219
11.1.3 結(jié)果分析 221
11.2　石油管線事故損失預(yù)測 222
11.2.1 案例描述 222
11.2.2 隨機(jī)森林回歸的步驟 222
11.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 223
第12章　電力大數(shù)據(jù)分析案例 226
12.1　基于LSTM方法的家庭用電量預(yù)測 226
12.1.1 案例描述 226
12.1.2 家庭用電量數(shù)據(jù)集 226
12.1.3 LSTM模型的應(yīng)用與實(shí)現(xiàn) 227
12.2　基于Stacking融合方法的電網(wǎng)負(fù)荷預(yù)測 234
12.2.1 案例描述 234
12.2.2 Stacking融合方法 234
12.2.3 電網(wǎng)負(fù)荷數(shù)據(jù)集 235
12.2.4 Stacking模型的應(yīng)用與實(shí)現(xiàn) 235