本書以項目實踐作為主線,結合必需的理論知識,以任務的形式進行內容設計,每個任務都包含任務描述及任務實施的步驟,讀者按照實施步驟進行操作就可以完成相應的學習任務,從而不斷提升項目實踐能力。本書主要內容涉及Spark基本原理、基于IDEA搭建Spark開發(fā)環(huán)境、RDD基本原理、Spark SQL基本操作流程、電商業(yè)務系統(tǒng)的基本流程、電商用戶行為分析的基本指標以及分析過程、通過不同的維度對銷售數(shù)據(jù)進行分析、通過不同的維度對訂單數(shù)據(jù)進行分析以及常用的可視化分析圖表的應用場景等。
本書適合需要使用Spark進行大數(shù)據(jù)處理的程序員、架構師和產(chǎn)品經(jīng)理作為技術參考和培訓資料,也可作為高校本科生和研究生的教材。
1.內容安排科學合理,易學易懂。以項目實踐為主線,以任務驅動的方式介紹基礎知識和實施要點。
2.難易適中,案例式教學,幫助讀者全面了解Spark大數(shù)據(jù)處理開發(fā)方案。
3.不僅讓讀者掌握Spark方法,更注重全面培養(yǎng)讀者的數(shù)據(jù)意識、數(shù)據(jù)思維和數(shù)據(jù)能力。
4.融合課程思政元素,提供豐富教學資源。
劉均,高級實驗師、高級技師、教育部課程思政教學名師、全國職業(yè)院校技能大賽優(yōu)秀指導教師、重慶市黃大年教學團隊成員、重慶市高職院校1+X證書學習成果專業(yè)認證委員會專家、云計算1+X中級講師、網(wǎng)絡工程師、國家職業(yè)技能鑒定中心考評員、重慶市政府采購評審專家;主要研究方向為計算機實驗實訓教學、云計算運維技術;主要從事大數(shù)據(jù)、云計算自動運維方面教學工作;參與省部級科研項目《基于運行大數(shù)據(jù)的工業(yè)機器人預測性維護關鍵技術研究》等項目3項;國家級在線精品課程《云計算之軟件定義網(wǎng)絡》主要成員,主要講授《云存儲技術》《Python程序設計》《云計算系統(tǒng)框架》等課程。
王璐烽,教授,世界技能大賽中國賽區(qū)裁判員、重慶市高校黃大年式教師團隊負責人、重慶市高校中青年骨干教師、重慶市高校優(yōu)秀思想政治工作者;撰寫論文20余篇,其中SCI/EI收錄或核心期刊10余篇;主編國家十三五規(guī)劃教材1本,其余4本;主持重慶市重大教改課題1項,重點1項,其余5項;主持重慶市重大科技項目1項;主持重慶市精品在線課程1門;獲得全國職業(yè)院校信息化教學大賽一等獎,重慶市科技進步三等獎,中國通信工業(yè)協(xié)會教學成果特等獎;指導學生參加全國職業(yè)院校技能大賽獲一等獎、二等獎各1次;參與教育部專業(yè)標準、1+X職業(yè)技能等級標準、重慶市人社局新職業(yè)(人工智能訓練師)培訓標準、考核標準等研制工作。
項目1 Spark集群環(huán)境搭建 1
任務1 Spark本地模式安裝 2
【任務描述】 2
【知識鏈接】 2
【任務實施】 5
任務2 Spark集群安裝及配置 7
【任務描述】 7
【知識鏈接】 7
【任務實施】 7
任務3 Spark任務提交與運行 11
【任務描述】 11
【任務實施】 11
項目小結 14
項目拓展 14
思考與練習 14
項目2 Spark開發(fā)環(huán)境搭建 16
任務1 搭建Spark開發(fā)環(huán)境 17
【任務描述】 17
【知識鏈接】 17
【任務實施】 17
任務2 開發(fā)單詞統(tǒng)計程序 25
【任務描述】 25
【任務實施】 25
任務3 Spark程序部署到集群中運行 30
【任務描述】 30
【任務實施】 30
項目小結 34
思考與練習 34
項目3 Spark RDD基本操作 35
任務1 Spark RDD轉換算子的應用 36
【任務描述】 36
【知識鏈接】 36
【任務實施】 38
任務2 Spark RDD行動算子的應用 49
【任務描述】 49
【知識鏈接】 49
【任務實施】 49
任務3 Spark RDD分區(qū)的應用 52
【任務描述】 52
【知識鏈接】 52
【任務實施】 53
任務4 Spark共享變量的應用 57
【任務描述】 57
【知識鏈接】 57
【任務實施】 58
項目小結 59
項目拓展 59
思考與練習 59
項目4 Spark SQL操作 61
任務1 Spark SQL入門 62
【任務描述】 62
【知識鏈接】 62
【任務實施】 62
任務2 Spark SQL基本操作 65
【任務描述】 65
【知識鏈接】 65
【任務實施】 67
任務3 Spark SQL高級應用 78
【任務描述】 78
【任務實施】 78
項目小結 84
項目拓展 84
思考與練習 84
項目5 電商數(shù)據(jù)分析系統(tǒng)設計 86
任務1 電商系統(tǒng)設計 87
【任務描述】 87
【知識鏈接】 87
【任務實施】 87
任務2 電商數(shù)據(jù)分析流程 89
【任務描述】 89
【知識鏈接】 90
【任務實施】 91
項目小結 94
項目拓展 94
思考與練習 94
項目6 電商用戶行為分析 95
任務1 數(shù)據(jù)說明及預處理 96
【任務描述】 96
【知識鏈接】 96
【任務實施】 97
任務2 用戶訪問量分析 101
【任務描述】 101
【任務實施】 101
任務3 用戶購買行為分析 105
【任務描述】 105
【任務實施】 106
任務4 轉化率分析 111
【任務描述】 111
【任務實施】 111
項目小結 113
思考與練習 114
項目7 商品銷售分析 115
任務1 數(shù)據(jù)說明及預處理 116
【任務描述】 116
【知識鏈接】 116
【任務實施】 117
任務2 獲取基本信息 122
【任務描述】 122
【任務實施】 122
任務3 基于店鋪維度分析 124
【任務描述】 124
【任務實施】 125
任務4 基于商品維度分析 130
【任務描述】 130
【任務實施】 131
項目小結 134
思考與練習 134
項目8 電商訂單分析 135
任務1 數(shù)據(jù)說明及預處理 136
【任務描述】 136
【知識鏈接】 136
【任務實施】 137
任務2 獲取基本信息 140
【任務描述】 140
【任務實施】 140
任務3 基于時間維度分析 143
【任務描述】 143
【任務實施】 144
任務4 基于區(qū)域維度分析 148
【任務描述】 148
【任務實施】 148
項目小結 150
思考與練習 150
項目9 電商數(shù)據(jù)可視化分析 151
任務1 Superset基本操作 152
【任務描述】 152
【知識鏈接】 152
【任務實施】 153
任務2 電商用戶行為數(shù)據(jù)可視化分析 162
【任務描述】 162
【任務實施】 162
任務3 電商銷售數(shù)據(jù)可視化分析 167
【任務描述】 167
【任務實施】 167
任務4 電商訂單數(shù)據(jù)可視化分析 170
【任務描述】 170
【任務實施】 171
項目小結 174
項目拓展 174
思考與練習 175
參考文獻 176