近年來，大數據已在公共管理、醫(yī)療衛(wèi)生、金融與商務等領域得到了廣泛應用。如何對海量和高速增長的數據進行有效處理以及如何針對不同領域特點有效應用大數據，倍受廣大科研工作者的廣泛關注。本書集結了作者近年來在大數據及其應用領域的研究成果，針對大數據高效處理問題，從點排序識別聚類、多標簽排序、不平衡數據采樣、主動學習、增量學習等方面研究并設計了相關算法。在此基礎上，對大數據環(huán)境下電信客戶價值評價、客戶換機預測和客戶流失預測等問題，設計了相關算法、流程和仿真實驗，并提出了一些合理化的建議，為大數據分析與在相關行業(yè)的應用提供了參考。
章 大數據處理概述 1
1.1 大數據的定義 1
1.2 大數據帶來的挑戰(zhàn)與機遇 3
1.3 大數據研究的現(xiàn)狀 5
1.3.1 大數據處理平臺 5
1.3.2 大數據處理算法 6
1.3.3 大數據應用研究 9
1.4 大數據研究的挑戰(zhàn)與趨勢 10
1.5 本章小結 11
參考文獻 12
第2章 Spark點排序識別聚類結構算法 19
2.1 引言 19
2.2 點排序識別聚類結構算法 21
2.3 Spark并行內存計算框架 23
2.4 基于Spark的OPTICS算法 25
2.5 仿真實驗與結果分析 27
2.5.1 度量標準 27
2.5.2 數據集與運行環(huán)境 28
2.5.3 實驗方法 29
2.5.4 實驗結果與分析 29
2.6 本章小結 32
參考文獻 33
第3章 Spark標簽校準排序多標簽算法 35
3.1 引言 35
3.2 校準標簽排序算法與并行化研究 36
3.2.1 校準標簽排序算法介紹 36
3.2.2 校準標簽排序算法研究現(xiàn)狀 37
3.3 樸素貝葉斯校準標簽排序方法 37
3.3.1 樸素貝葉斯概率模型 37
3.3.2 樸素貝葉斯校準標簽排序算法 38
3.3.3 仿真實驗與結果分析 40
3.4 樸素貝葉斯校準標簽排序方法的并行化研究 44
3.4.1 Spark并行化內存計算 44
3.4.2 樸素貝葉斯校準標簽排序算法的并行化研究 45
3.4.3 仿真實驗與結果分析 47
3.5 本章小結 51
參考文獻 52
第4章 不平衡數據的樣本權重欠采樣方法 54
4.1 引言 54
4.2 不平衡數據處理的相關方法 55
4.2.1 K-means聚類算法 55
4.2.2 AdaCost算法 56
4.2.3 Bagging算法 58
4.3 基于樣本權重的欠采樣方法 59
4.3.1 樣本權重的確定 59
4.3.2 分類器加權投票 60
4.4 仿真實驗與結果分析 61
4.4.1 分類的評價方法 61
4.4.2 非參數統(tǒng)計檢驗方法 62
4.4.3 UCI數據集檢驗 63
4.5 本章小結 67
參考文獻 68
第5章 不平衡數據的三支決策過采樣算法 70
5.1 引言 70
5.2 三支決策粗糙集 71
5.2.1 鄰域模型 71
5.2.2 鄰域三支決策模型 71
5.3 不平衡數據的三支決策過采樣算法 74
5.3.1 算法思路 74
5.3.2 算法描述與分析 76
5.4 仿真實驗與結果分析 77
5.4.1 數據集選擇 77
5.4.2 實驗方法 78
5.4.3 實驗結果分析 79
5.5 本章小結 84
參考文獻 84
第6章 三支決策主動學習方法 87
6.1 引言 87
6.2 主動學習理論 88
6.2.1 主動學習工作機制 88
6.2.2 主動學習方法的分類 88
6.3 三支決策主動學習 89
6.3.1 對冗余信息的刪減 89
6.3.2 對無標簽樣本的區(qū)域劃分 90
6.3.3 對不同區(qū)域樣本的處理 91
6.3.4 算法描述 92
6.4 仿真實驗與結果分析 95
6.4.1 數據集選擇 95
6.4.2 實驗方法 95
6.4.3 實驗結果分析 96
6.5 本章小結 100
參考文獻 100
第7章 鄰域粗糙集主動學習方法 104
7.1 引言 104
7.2 鄰域粗糙集基本理論 104
7.3 鄰域粗糙集主動學習算法 106
7.3.1 算法思路 106
7.3.2 算法描述 109
7.4 仿真實驗與結果分析 110
7.4.1 數據集與實驗方法 110
7.4.2 結果與分析 111
7.5 本章小結 117
參考文獻 118
第8章 決策熵增量學習方法 120
8.1 引言 120
8.2 粗糙集的基本概念 121
8.3 決策熵增量知識獲取算法 123
8.3.1 算法復雜度分析 126
8.3.2 實例分析 126
8.4 仿真實驗與結果分析 128
8.4.1 UCI數據集測試 128
8.4.2 KDDCUP99數據集測試 130
8.4.3 KDDCUP99數據集連續(xù)增量測試 130
8.5 本章小結 131
參考文獻 131
第9章 MapReduce并行增量FP-Growth算法 133
9.1 引言 133
9.2 MapReduce編程模型與Hadoop平臺 135
9.2.1 MapReduce編程模型 135
9.2.1 Hadoop平臺介紹 136
9.3 MapReduce增量FP-Growth算法 138
9.3.1 增量學習 138
9.3.2 FP-Growth算法 139
9.3.3 MapReduce并行FP-Growth算法 140
9.3.4 MapReduce并行增量FP-Growth算法 141
9.4 仿真實驗與結果分析 143
9.4.1 MapReduce并行增量FP-Growth算法單機效率測試 143
9.4.2 MapReduce并行增量FP-Growth算法集群效率測試 143
9.4.3 Mapreduce并行增量FP-Growth算法性能測試 146
9.5 本章小結 149
參考文獻 149
0章 電信客戶價值評價 151
10.1 引言 151
10.2 客戶價值與評價 152
10.2.1 客戶價值的概念 152
10.2.2 電信客戶價值與評價 153
10.3 優(yōu)勢關系粗糙集的基本概念 155
10.4 領域及數據驅動的數據挖掘模型 156
10.4.1 數據驅動的數據挖掘 156
10.4.2 領域驅動的數據挖掘 157
10.4.3 面向領域的數據驅動的數據挖掘 158
10.5 領域及數據驅動的電信客戶價值評價方法 159
10.5.1 電信客戶價值評價的特征提取 159
10.5.2 電信客戶價值評價流程 161
10.5.3 電信客戶價值評價算法 162
10.6 仿真實驗 163
10.6.1 算法效果驗證 163
10.6.2 算法應用 165
10.7 本章小結 167
參考文獻 167
1章 電信客戶換機預測 171
11.1 引言 171
11.2 優(yōu)勢關系粗糙集換機預測方法 172
11.2.1 算法描述 172
11.2.2 仿真實驗 174
11.3 數據驅動的電信客戶換機預測方法 179
11.3.1 手機客戶特征提取 179
11.3.2 算法描述 180
11.3.3 仿真實驗 182
11.4 本章小結 185
參考文獻 186
2章 電信客戶流失預測 188
12.1 引言 188
12.2 C4.5決策樹及其改進算法 189
12.2.1 C4.5決策樹 189
12.2.2 改進C4.5決策樹算法 190
12.3 改進C4.5決策樹不平衡數據抽樣方法 191
12.3.1 算法思路 191
12.3.2 算法描述 192
12.4 實驗與結果分析 193
12.4.1 電信客戶流失預測流程 194
12.4.2 實驗數據選擇 195
12.2.3 實驗結果與分析 196
12.5 本章小結 198
參考文獻 198
書單推薦
