目 錄
第1章 數(shù)據(jù)挖掘和SPSS Modeler使用概述 1
1.1 數(shù)據(jù)挖掘的產(chǎn)生背景 1
1.1.1 海量大數(shù)據(jù)的分析需求催生數(shù)據(jù)挖掘 1
1.1.2 應(yīng)用對理論的挑戰(zhàn)催生數(shù)據(jù)挖掘 2
1.2 什么是數(shù)據(jù)挖掘 4
1.2.1 數(shù)據(jù)挖掘和數(shù)據(jù)庫中的知識發(fā)現(xiàn) 5
1.2.2 數(shù)據(jù)挖掘方法論 6
1.2.3 數(shù)據(jù)挖掘的任務(wù)和應(yīng)用 9
1.2.4 數(shù)據(jù)挖掘得到的知識形式 11
1.2.5 數(shù)據(jù)挖掘算法的分類 14
1.3 SPSS Modeler軟件概述 17
1.3.1 SPSS Modeler的數(shù)據(jù)流 17
1.3.2 SPSS Modeler的窗口 19
1.3.3 數(shù)據(jù)流的基本管理 21
1.3.4 緩存節(jié)點(diǎn)和超節(jié)點(diǎn) 24
1.3.5 從一個(gè)示例看SPSS Modeler的使用 25
第2章 SPSS Modeler的數(shù)據(jù)讀入和數(shù)據(jù)集成 31
2.1 變量類型 31
2.1.1 從數(shù)據(jù)挖掘角度看變量類型 31
2.1.2 從計(jì)算機(jī)存儲角度看變量類型 32
2.2 讀入數(shù)據(jù) 32
2.2.1 讀自由格式的文本文件 33
2.2.2 讀Excel電子表格數(shù)據(jù) 36
2.2.3 讀SPSS格式文件 37
2.3 數(shù)據(jù)集成 38
2.3.1 數(shù)據(jù)的縱向合并 38
2.3.2 數(shù)據(jù)的橫向合并 40
2.3.3 數(shù)據(jù)源替換 43
第3章 SPSS Modeler的數(shù)據(jù)理解 45
3.1 變量說明 45
3.1.1 變量的重新實(shí)例化 46
3.1.2 有效變量值和無效值調(diào)整 47
3.1.3 變量角色的說明 49
3.2 數(shù)據(jù)質(zhì)量的評估和調(diào)整 50
3.2.1 數(shù)據(jù)的基本特征與質(zhì)量評價(jià)報(bào)告 50
3.2.2 變量值的調(diào)整 53
3.2.3 數(shù)據(jù)質(zhì)量管理 56
3.3 數(shù)據(jù)的排序 58
3.3.1 單變量排序 58
3.3.2 多重排序 59
3.4 數(shù)據(jù)的分類匯總 60
3.4.1 單變量分類匯總 60
3.4.2 多重分類匯總 61
第4章 SPSS Modeler的數(shù)據(jù)準(zhǔn)備 62
4.1 變量變換 62
4.1.1 CLEM表達(dá)式 62
4.1.2 變量值的重新計(jì)算 65
4.1.3 變量類別值的調(diào)整 67
4.2 變量派生 68
4.2.1 生成新變量 68
4.2.2 生成服從正態(tài)分布的新變量 72
4.2.3 派生啞變量 75
4.3 數(shù)據(jù)精簡 76
4.3.1 隨機(jī)抽樣 76
4.3.2 根據(jù)條件選取樣本 79
4.4 建模中的數(shù)據(jù)集處理策略 80
4.4.1 樣本的平衡處理 80
4.4.2 樣本子集的劃分 81
第5章 SPSS Modeler的基本分析 85
5.1 數(shù)值型變量的基本分析 85
5.1.1 計(jì)算基本描述統(tǒng)計(jì)量 85
5.1.2 繪制散點(diǎn)圖 88
5.1.3 繪制線圖 91
5.2 兩分類型變量相關(guān)性的研究 93
5.2.1 兩分類型變量相關(guān)性的圖形分析 93
5.2.2 兩分類型變量相關(guān)性的數(shù)值分析 98
5.3 兩總體的均值比較 102
5.3.1 兩總體均值比較的圖形分析 102
5.3.2 獨(dú)立樣本的均值檢驗(yàn) 104
5.3.3 配對樣本的均值檢驗(yàn) 108
5.4 RFM分析 110
5.4.1 什么是RFM分析 110
5.4.2 RFM匯總 110
5.4.3 計(jì)算RFM得分 112
第6章 SPSS Modeler的數(shù)據(jù)精簡 115
6.1 變量值的離散化處理 115
6.1.1 無監(jiān)督的數(shù)據(jù)分組 115
6.1.2　有監(jiān)督的數(shù)據(jù)分組 116
6.1.3 變量值離散化處理的應(yīng)用示例 119
6.2　特征選擇 122
6.2.1　特征選擇的一般方法 123
6.2.2　特征選擇的應(yīng)用示例 124
6.3 因子分析 128
6.3.1 什么是因子分析 128
6.3.2　因子提取和因子載荷矩陣的求解 131
6.3.3　因子的命名解釋 134
6.3.4　計(jì)算因子得分 135
6.3.5　因子分析的應(yīng)用示例 136
第7章 分類預(yù)測：SPSS Modeler的決策樹 141
7.1 決策樹算法概述 141
7.1.1 什么是決策樹 141
7.1.2 決策樹的幾何理解 143
7.1.3 決策樹的核心問題 143
7.2 SPSS Modeler的C5.0算法及其應(yīng)用 146
7.2.1 信息熵和信息增益 146
7.2.2 C5.0決策樹的生長算法 147
7.2.3 C5.0決策樹的剪枝算法 152
7.2.4 C5.0決策樹的基本應(yīng)用示例 154
7.2.5 C5.0的推理規(guī)則集 158
7.2.6 損失矩陣 163
7.2.7 N折交叉驗(yàn)證和Boosting技術(shù) 165
7.3 SPSS Modeler的分類回歸樹及其應(yīng)用 169
7.3.1 分類回歸樹的生長過程 169
7.3.2 分類回歸樹的剪枝過程 171
7.3.3 損失矩陣對分類回歸樹的影響 174
7.3.4 分類回歸樹的基本應(yīng)用示例 174
7.3.5 分類回歸樹的交互建模 178
7.3.6 交互建模中分類回歸樹的評價(jià) 180
7.4 SPSS Modeler的CHAID算法及其應(yīng)用 185
7.4.1 CHAID算法 185
7.4.2 窮舉CHAID算法 186
7.4.3 CHAID算法的剪枝 187
7.4.4 CHAID算法的應(yīng)用示例 187
7.5 SPSS Modeler的QUEST算法及其應(yīng)用 189
7.5.1 QUEST算法 189
7.5.2 QUEST算法的應(yīng)用示例 191
7.6 模型的對比分析 192
7.6.1 不同模型的誤差對比 192
7.6.2 不同模型的收益對比 195
第8章　分類預(yù)測：SPSS Modeler的人工神經(jīng)網(wǎng)絡(luò) 198
8.1　人工神經(jīng)網(wǎng)絡(luò)算法概述 198
8.1.1　人工神經(jīng)網(wǎng)絡(luò)的概念和種類 198
8.1.2　人工神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)和意義 200
8.1.3　人工神經(jīng)網(wǎng)絡(luò)建立的一般步驟 202
8.2 SPSS Modeler的B-P反向傳播網(wǎng)絡(luò) 204
8.2.1 感知機(jī)模型 204
8.2.2 B-P反向傳播網(wǎng)絡(luò)的特點(diǎn) 207
8.2.3 B-P反向傳播算法 209
8.2.4 B-P反向傳播網(wǎng)絡(luò)的其他問題 212
8.3 SPSS Modeler的B-P反向傳播網(wǎng)絡(luò)的應(yīng)用 214
8.3.1 基本操作 215
8.3.2 結(jié)果說明 215
8.4 SPSS Modeler的徑向基函數(shù)網(wǎng)絡(luò)及其應(yīng)用 216
8.4.1 徑向基函數(shù)網(wǎng)絡(luò)中的隱節(jié)點(diǎn)和輸出節(jié)點(diǎn) 217
8.4.2 徑向基函數(shù)網(wǎng)絡(luò)的學(xué)習(xí)過程 217
8.4.3 徑向基函數(shù)網(wǎng)絡(luò)的應(yīng)用示例 219
第9章　分類預(yù)測：SPSS Modeler的支持向量機(jī) 221
9.1　支持向量分類的基本思路 221
9.1.1　支持向量分類的數(shù)據(jù)和目標(biāo) 221
9.1.2　支持向量分類的三種情況 223
9.2　線性可分問題下的支持向量分類 224
9.2.1　如何求解超平面 224
9.2.2　如何利用超平面進(jìn)行分類預(yù)測 226
9.3　廣義線性可分下的支持向量分類 227
9.3.1　如何求解超平面 227
9.3.2　可調(diào)參數(shù)的意義：把握程度和精度的權(quán)衡 228
9.4　線性不可分下的支持向量分類 229
9.4.1　線性不可分的一般解決途徑和維災(zāi)難問題 229
9.4.2　支持向量分類克服維災(zāi)難的途徑 230
9.5　支持向量回歸 232
9.5.1　支持向量回歸與一般線性回歸：目標(biāo)和策略 232
9.5.2　支持向量回歸的基本思路 233
9.6　支持向量機(jī)的應(yīng)用 235
9.6.1　基本操作 235
9.6.2　結(jié)果解讀 236
第10章　分類預(yù)測：SPSS Modeler的Logistic回歸分析 238
10.1　Logistic回歸分析概述 238
10.2　二項(xiàng)Logistic回歸分析 239
10.2.1　二項(xiàng)Logistic回歸方程 239
10.2.2　二項(xiàng)Logistic回歸方程系數(shù)的含義 241
10.2.3　二項(xiàng)Logistic回歸方程的檢驗(yàn) 242
10.2.4　二項(xiàng)Logistic回歸分析中的虛擬自變量 246
10.3　二項(xiàng)Logistic回歸分析的應(yīng)用 246
10.3.1　基本操作 247
10.3.2　結(jié)果解讀 249
10.4　多項(xiàng)Logistic回歸分析及其應(yīng)用 257
10.4.1　多項(xiàng)Logistic回歸分析概述 257
10.4.2　多項(xiàng)Logistic回歸分析的應(yīng)用示例 257
第11章 分類預(yù)測：SPSS Modeler的判別分析 262
11.1 距離判別 262
11.1.1 距離判別的基本思路 262
11.1.2 判別函數(shù)的計(jì)算 263
11.2 Fisher判別 264
11.2.1 Fisher判別的基本思路 264
11.2.2 Fisher判別的計(jì)算 266
11.3 貝葉斯判別 267
11.3.1 貝葉斯判別的基本思路 267
11.3.2 貝葉斯判別的計(jì)算 267
11.4 判別分析的應(yīng)用 268
11.4.1 基本操作 268
11.4.2 判別分析的準(zhǔn)備工作 269
11.4.3 結(jié)果解讀 273
第12章 分類預(yù)測：SPSS Modeler的貝葉斯網(wǎng)絡(luò) 279
12.1 貝葉斯方法基礎(chǔ) 279
12.1.1 貝葉斯概率和貝葉斯公式 279
12.1.2 樸素貝葉斯分類法 280
12.2 貝葉斯網(wǎng)絡(luò)概述 282
12.2.1 什么是貝葉斯網(wǎng)絡(luò) 282
12.2.2 貝葉斯網(wǎng)絡(luò)的組成及構(gòu)建 283
12.2.3 貝葉斯網(wǎng)絡(luò)的分類預(yù)測 284
12.3 TAN貝葉斯網(wǎng)絡(luò) 285
12.3.1 TAN貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu) 285
12.3.2 TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí) 286
12.3.3 TAN貝葉斯網(wǎng)絡(luò)的參數(shù)估計(jì) 288
12.4 馬爾科夫毯網(wǎng)絡(luò) 290
12.4.1 馬爾科夫毯網(wǎng)絡(luò)的基本概念 290
12.4.2 條件獨(dú)立檢驗(yàn) 291
12.4.3 馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí) 292
12.4.4 馬爾科夫毯網(wǎng)絡(luò)的分類預(yù)測 293
12.5 貝葉斯網(wǎng)絡(luò)的應(yīng)用 293
12.5.1 基本操作 293
12.5.2 結(jié)果解讀 295
第13章 探索內(nèi)部結(jié)構(gòu)：SPSS Modeler的關(guān)聯(lián)分析 299
13.1 簡單關(guān)聯(lián)規(guī)則及其有效性 299
13.1.1 簡單關(guān)聯(lián)規(guī)則的基本概念 299
13.1.2 簡單關(guān)聯(lián)規(guī)則的有效性和實(shí)用性 301
13.2 SPSS Modeler的Apriori算法及其應(yīng)用 305
13.2.1 產(chǎn)生頻繁項(xiàng)集 305
13.2.2 依據(jù)頻繁項(xiàng)集產(chǎn)生簡單關(guān)聯(lián)規(guī)則 307
13.2.3 Apriori算法的應(yīng)用示例 307
13.3 SPSS Modeler的序列關(guān)聯(lián)及其應(yīng)用 312
13.3.1 序列關(guān)聯(lián)中的基本概念 312
13.3.2 Sequence算法 313
13.3.3 序列關(guān)聯(lián)的時(shí)間約束 316
13.3.4 Sequence算法的應(yīng)用示例 317
第14章 探索內(nèi)部結(jié)構(gòu)：SPSS Modeler的聚類分析 320
14.1 聚類分析的一般問題 320
14.1.1 聚類分析的提出 320
14.1.2 聚類算法 320
14.2 SPSS Modeler的K-Means聚類及應(yīng)用 321
14.2.1 K-Means對“親疏程度”的測度 321
14.2.2 K-Means聚類過程 321
14.2.3 K-Means聚類的應(yīng)用示例 324
14.3 SPSS Modeler的兩步聚類及其應(yīng)用 327
14.3.1 兩步聚類對“親疏程度”的測度 328
14.3.2 兩步聚類過程 328
14.3.3 聚類數(shù)目的確定 330
14.3.4 兩步聚類的應(yīng)用示例 332
14.4 SPSS Modeler的Kohonen網(wǎng)絡(luò)聚類及其應(yīng)用 333
14.4.1 Kohonen網(wǎng)絡(luò)聚類機(jī)理 333
14.4.2 Kohonen網(wǎng)絡(luò)聚類過程 335
14.4.3 Kohonen網(wǎng)絡(luò)聚類的應(yīng)用示例 337
14.5 基于聚類分析的離群點(diǎn)探索 342
14.5.1 多維空間基于聚類的離群點(diǎn)診斷方法 343
14.5.2 多維空間基于聚類的離群點(diǎn)診斷應(yīng)用示例 345