工作任務(wù)1

初識(shí)Hadoop　1

任務(wù)概述　1

學(xué)習(xí)目標(biāo)　1

任務(wù)1.1　了解大數(shù)據(jù)　1

【知識(shí)鏈接】　1

1.1.1　什么是大數(shù)據(jù)　1

1.1.2　大數(shù)據(jù)的特征　2

1.1.3　研究大數(shù)據(jù)的意義　3

任務(wù)1.2　了解大數(shù)據(jù)的應(yīng)用場(chǎng)景　4

【知識(shí)鏈接】　4

1.2.1　醫(yī)療行業(yè)的應(yīng)用　4

1.2.2　金融行業(yè)的應(yīng)用　5

1.2.3　零售行業(yè)的應(yīng)用　5

任務(wù)1.3　了解Hadoop　6

【知識(shí)鏈接】　6

1.3.1　Hadoop的發(fā)展歷程　6

1.3.2　Hadoop的優(yōu)勢(shì)　7

1.3.3　Hadoop的生態(tài)體系　8

1.3.4　Hadoop的版本　10

任務(wù)小結(jié)　12

課后習(xí)題　12

相關(guān)閱讀—“第七次全國(guó)人口普查”中的

　大數(shù)據(jù)技術(shù)應(yīng)用　13



工作任務(wù)2

搭建Hadoop集群　14

任務(wù)概述　14

學(xué)習(xí)目標(biāo)　14

預(yù)備知識(shí)—集群和虛擬機(jī)　14

任務(wù)2.1　安裝虛擬機(jī)　16

【任務(wù)描述】　16

【知識(shí)鏈接】　16

2.1.1　VMware軟件　16

2.1.2　Linux操作系統(tǒng)　16

2.1.3　Hadoop集群　17

【任務(wù)實(shí)施】　17

任務(wù)2.2　克隆虛擬機(jī)　23

【任務(wù)描述】　23

【知識(shí)鏈接】　23

2.2.1　克隆和備份的區(qū)別　23

2.2.2　VMware的克隆類型　24

【任務(wù)實(shí)施】　24

任務(wù)2.3　網(wǎng)絡(luò)配置　25

【任務(wù)描述】　25

【知識(shí)鏈接】　26

【任務(wù)實(shí)施】　26

任務(wù)2.4　SSH服務(wù)配置　29

【任務(wù)描述】　29

【知識(shí)鏈接】　29

【任務(wù)實(shí)施】　29

任務(wù)2.5　Hadoop集群搭建　32

【任務(wù)描述】　32

【知識(shí)鏈接】　32

【任務(wù)實(shí)施】　32

任務(wù)小結(jié)　37

課后習(xí)題　38

相關(guān)閱讀—名副其實(shí)的“網(wǎng)絡(luò)大國(guó)”　39

工作任務(wù)3

數(shù)據(jù)上傳　40

任務(wù)概述　40

學(xué)習(xí)目標(biāo)　40

預(yù)備知識(shí)—HDFS概述　40

任務(wù)3.1　使用Shell命令將電影數(shù)據(jù)上傳

　到Hadoop　42

【任務(wù)描述】　42

【知識(shí)鏈接】　42

3.1.1　HDFS架構(gòu)組成　42

3.1.2　HDFS的Shell操作　43

【任務(wù)實(shí)施】　45

任務(wù)3.2　使用Java API上傳電影數(shù)據(jù)　46

【任務(wù)描述】　46

【知識(shí)鏈接】　46

3.2.1　HDFS寫數(shù)據(jù)流程　46

3.2.2　HDFS讀數(shù)據(jù)流程　47

3.2.3　NameNode和Secondary

　NameNode工作機(jī)制　47

3.2.4　DataNode工作機(jī)制　49

【任務(wù)實(shí)施】　49

任務(wù)小結(jié)　51

課后習(xí)題　51

相關(guān)閱讀—根服務(wù)器　52



工作任務(wù)4

配置Hadoop高可用　53

任務(wù)概述　53

學(xué)習(xí)目標(biāo)　53

預(yù)備知識(shí)—服務(wù)器的可用性和高可用性　53

任務(wù)4.1　配置ZooKeeper集群　54

【任務(wù)描述】　54

【知識(shí)鏈接】　54

4.1.1　Hadoop中的單點(diǎn)故障　54

4.1.2　ZooKeeper組件　54

【任務(wù)實(shí)施】　55

任務(wù)4.2　配置HDFS-HA集群　57

【任務(wù)描述】　57

【知識(shí)鏈接】　57

【任務(wù)實(shí)施】　58

任務(wù)4.3　配置HDFS-HA集群自動(dòng)故障

　轉(zhuǎn)移　61

【任務(wù)描述】　61

【知識(shí)鏈接】　61

4.3.1　自動(dòng)故障轉(zhuǎn)移機(jī)制概述　61

4.3.2　ZKFC　62

【任務(wù)實(shí)施】　63

任務(wù)小結(jié)　64

課后習(xí)題　65

相關(guān)閱讀—航天裝備的高可用　65



工作任務(wù)5

數(shù)據(jù)清洗　66

任務(wù)概述　66

學(xué)習(xí)目標(biāo)　66

預(yù)備知識(shí)—數(shù)據(jù)清洗概述　66

任務(wù)5.1　清洗電影數(shù)據(jù)　67

【任務(wù)描述】　67

【知識(shí)鏈接】　67

5.1.1　MapReduce組件　67

5.1.2　MapReduce編程思想　68

5.1.3　Hadoop序列化　70

【任務(wù)實(shí)施】　71

任務(wù)5.2　數(shù)據(jù)分區(qū)　78

【任務(wù)描述】　78

【知識(shí)鏈接】　78

5.2.1　切片與MapTask并行度決定

　機(jī)制　78

5.2.2　MapReduce工作流程　79

【任務(wù)實(shí)施】　81

任務(wù)小結(jié)　82

課后習(xí)題　82

相關(guān)閱讀—深度學(xué)習(xí)開源平臺(tái)飛槳　83



工作任務(wù)6

使用MapReduce統(tǒng)計(jì)電影上映情況與排序　84

任務(wù)概述　84

學(xué)習(xí)目標(biāo)　84

預(yù)備知識(shí)—數(shù)據(jù)統(tǒng)計(jì)概述　84

任務(wù)6.1　統(tǒng)計(jì)每部電影上映的次數(shù)　85

【任務(wù)描述】　85

【任務(wù)實(shí)施】　85

任務(wù)6.2　統(tǒng)計(jì)每部電影的上映天數(shù)和平均

　票房　88

【任務(wù)描述】　88

【任務(wù)實(shí)施】　88

任務(wù)6.3　按平均票房降序排列　90

【任務(wù)描述】　90

【任務(wù)實(shí)施】　91

任務(wù)小結(jié)　94

課后習(xí)題　94

相關(guān)閱讀—許寶?J，中國(guó)統(tǒng)計(jì)學(xué)家的

　先驅(qū)　94



工作任務(wù)7

數(shù)據(jù)建倉(cāng)　96

任務(wù)概述　96

學(xué)習(xí)目標(biāo)　96

預(yù)備知識(shí)—數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)　96

任務(wù)7.1　安裝與配置Hive　97

【任務(wù)描述】　97

【知識(shí)鏈接】　97

7.1.1　Hive概述　97

7.1.2　Hive和數(shù)據(jù)庫(kù)比較　98

7.1.3　Hive架構(gòu)原理　99

【任務(wù)實(shí)施】　101

任務(wù)7.2　將元數(shù)據(jù)遷移到MySQL　101

【任務(wù)描述】　101

【任務(wù)實(shí)施】　102

任務(wù)7.3　使用Hive進(jìn)行數(shù)據(jù)建倉(cāng)　104

【任務(wù)描述】　104

【知識(shí)鏈接】　104

7.3.1　HQL的數(shù)據(jù)類型　104

7.3.2　HQL的數(shù)據(jù)定義語言　106

7.3.3　HQL的數(shù)據(jù)操作語言　109

【任務(wù)實(shí)施】　110

任務(wù)小結(jié)　111

課后習(xí)題　111

相關(guān)閱讀—數(shù)據(jù)庫(kù)泄露　111



工作任務(wù)8

數(shù)據(jù)分析　112

任務(wù)概述　112

學(xué)習(xí)目標(biāo)　112

預(yù)備知識(shí)—數(shù)據(jù)分析概述　112

任務(wù)8.1　查詢某年全年電影數(shù)據(jù)　113

【任務(wù)描述】　113

【知識(shí)鏈接】　113

8.1.1　Hive數(shù)據(jù)導(dǎo)出　113

8.1.2　Hive查詢　113

【任務(wù)實(shí)施】　120

任務(wù)8.2　統(tǒng)計(jì)周平均票房　121

【任務(wù)描述】　121

【知識(shí)鏈接】　121

【任務(wù)實(shí)施】　121

任務(wù)8.3　統(tǒng)計(jì)北京和上海某年一季度票房

　收入　122

【任務(wù)描述】　122

【任務(wù)實(shí)施】　122

任務(wù)小結(jié)　127

課后習(xí)題　127

相關(guān)閱讀—誠(chéng)信意識(shí)　127



工作任務(wù)9

數(shù)據(jù)遷移　128

任務(wù)概述　128

學(xué)習(xí)目標(biāo)　128

預(yù)備知識(shí)—數(shù)據(jù)遷移概述　128

任務(wù)9.1　安裝和配置Sqoop　129

【任務(wù)描述】　129

【知識(shí)鏈接】　129

【任務(wù)實(shí)施】　130

任務(wù)9.2　遷移清洗后的電影數(shù)據(jù)　131

【任務(wù)描述】　131

【知識(shí)鏈接】　131

9.2.1　導(dǎo)入數(shù)據(jù)　131

9.2.2　導(dǎo)出數(shù)據(jù)　133

【任務(wù)實(shí)施】　133

任務(wù)9.3　遷移日平均票房數(shù)據(jù)　134

【任務(wù)描述】　134

【任務(wù)實(shí)施】　134

任務(wù)9.4　遷移周平均票房數(shù)據(jù)　135

【任務(wù)描述】　135

【任務(wù)實(shí)施】　135

任務(wù)9.5　遷移北京和上海某年一季度票房

　數(shù)據(jù)　136

【任務(wù)描述】　136

【任務(wù)實(shí)施】　136

任務(wù)小結(jié)　137

課后習(xí)題　137

相關(guān)閱讀—?jiǎng)h庫(kù)事件　138



工作任務(wù)10

數(shù)據(jù)可視化　139

任務(wù)概述　139

學(xué)習(xí)目標(biāo)　139

預(yù)備知識(shí)—數(shù)據(jù)可視化概述　139

任務(wù)10.1　使用Spring Boot搭建Web

　系統(tǒng)　140

【任務(wù)描述】　140

【任務(wù)實(shí)施】　140

任務(wù)10.2　顯示全部電影數(shù)據(jù)　143

【任務(wù)描述】　143

【任務(wù)實(shí)施】　144

任務(wù)10.3　使用柱狀圖顯示電影的日平均

　票房　146

【任務(wù)描述】　146

【任務(wù)實(shí)施】　146

任務(wù)10.4　使用餅圖顯示電影的周平均

　票房　150

【任務(wù)描述】　150

【任務(wù)實(shí)施】　150

任務(wù)10.5　使用折線圖顯示北京和上海

　某年一季度電影票房走勢(shì)　153

【任務(wù)描述】　153

【任務(wù)實(shí)施】　153

任務(wù)小結(jié)　157

課后習(xí)題　157

相關(guān)閱讀—中華人民共和國(guó)2022年國(guó)民

　經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)　158