本書為“1+X”職業(yè)技能等級證書配套教材，按國家“1+X”大數(shù)據(jù)平臺運維職業(yè)技能等級標準編寫。本書屬于大數(shù)據(jù)平臺運維初級教材，從大數(shù)據(jù)平臺運維工程師角度由淺入深、全方位地介紹大數(shù)據(jù)平臺運維的相關(guān)基礎(chǔ)知識和基本實操。本書共分6個部分18章，第一部分為大數(shù)據(jù)平臺安裝，涉及平臺操作系統(tǒng)的使用、Hadoop平臺安裝、平臺基礎(chǔ)環(huán)境配置；第二部分為大數(shù)據(jù)平臺配置，涉及Hadoop文件參數(shù)配置、Hadoop集群運行；第三部分為大數(shù)據(jù)平臺組件的安裝與配置，涉及Hive、HBase、ZooKeeper、Sqoop和Flume組件的安裝與配置；第四部分為大數(shù)據(jù)平臺實施，涉及大數(shù)據(jù)平臺實施方案、培訓方案；第五部分為大數(shù)據(jù)平臺監(jiān)控，涉及基于大數(shù)據(jù)平臺的監(jiān)控命令、監(jiān)控界面和報表、日志和告警信息監(jiān)控；第六部分為大數(shù)據(jù)運維綜合實戰(zhàn)案例，以實際項目為例介紹從平臺部署、數(shù)據(jù)業(yè)務采集、數(shù)據(jù)分析到數(shù)據(jù)可視化的整體基礎(chǔ)實施過程，并介紹了大數(shù)據(jù)平臺運維的常見故障及處理流程。本書可作為中高職院校大數(shù)據(jù)及計算機類相關(guān)專業(yè)的教材，也可作為大數(shù)據(jù)平臺運維人員的參考用書。
紫光股份旗下新華三集團作為數(shù)字化解決方案領(lǐng)導者，致力于成為客戶業(yè)務創(chuàng)新、數(shù)字化轉(zhuǎn)型最可信賴的合作伙伴。新華三擁有計算、存儲、網(wǎng)絡、5G、安全等全方位的數(shù)字化基礎(chǔ)設施整體能力，提供云計算、大數(shù)據(jù)、人工智能、工業(yè)互聯(lián)網(wǎng)、信息安全、智能聯(lián)接、新安防、邊緣計算等在內(nèi)的一站式數(shù)字化解決方案，以及端到端的技術(shù)服務。同時，新華三也是HPE?服務器、存儲和技術(shù)服務的中國獨家提供商。
目 錄
第一部分 大數(shù)據(jù)平臺安裝
第1章 平臺操作系統(tǒng)的使用 3
1.1 Linux操作系統(tǒng)概述 3
1.1.1 Linux操作系統(tǒng)的起源 3
1.1.2 Linux操作系統(tǒng)的特點 4
1.1.3 Linux操作系統(tǒng)的應用場景 5
1.1.4 Linux版本 6
1.2 Linux常用命令 7
1.2.1 文件與目錄操作 7
1.2.2 用戶操作 9
1.2.3 文本操作 10
1.2.4 系統(tǒng)操作 11
1.3 Linux操作系統(tǒng)用戶信息 14
1.3.1 用戶和組 14
1.3.2 文件類型和權(quán)限 15
1.4 本章小結(jié) 17
第2章 Hadoop平臺安裝 18
2.1 Hadoop概述 18
2.1.1 Hadoop的起源 18
2.1.2 Hadoop的生態(tài)圈 19
2.1.3 Hadoop的版本 21
2.1.4 Hadoop的優(yōu)點 22
2.1.5 Hadoop的應用場景 22
2.1.6 Hadoop的運行模式 23
2.2 Hadoop的核心組件 23
2.2.1 HDFS 23
2.2.2 MapReduce 26
2.2.3 YARN 28
2.3 平臺操作系統(tǒng)環(huán)境設置 29
2.3.1 配置Linux操作系統(tǒng)基礎(chǔ)
環(huán)境 30
2.3.2 安裝Java環(huán)境 32
2.4 安裝Hadoop軟件 35
2.4.1 獲取Hadoop安裝包 35
2.4.2 安裝Hadoop軟件 35
2.4.3 修改目錄所有者和所有者組 36
2.5 安裝單機版Hadoop系統(tǒng) 36
2.5.1 配置Hadoop配置文件 37
2.5.2 測試Hadoop本地模式的
運行 37
2.6 本章小結(jié) 38
第3章 平臺基礎(chǔ)環(huán)境配置 39
3.1 集群網(wǎng)絡連接 39
3.1.1 實驗環(huán)境下的大數(shù)據(jù)Hadoop
平臺集群網(wǎng)絡 39
3.1.2 生產(chǎn)環(huán)境下的大數(shù)據(jù)Hadoop
平臺集群網(wǎng)絡 40
3.2 SSH無密碼登錄 41
3.2.1 SSH簡介 41
3.2.2 SSH特點介紹 41
3.2.3 非對稱加密機制 42
3.2.4 SSH安全機制 42
3.2.5 SSH基于口令的安全驗證 43
3.2.6 基于密鑰的安全驗證 43
3.3 集群網(wǎng)絡配置 44
3.3.1 實驗環(huán)境下的集群網(wǎng)絡配置 44
3.3.2 生產(chǎn)環(huán)境下的集群網(wǎng)絡配置 44
3.4 SSH無密碼驗證配置 47
3.4.1 生成SSH密鑰 47
3.4.2 交換SSH密鑰 49
3.4.3 驗證SSH無密碼登錄 50
3.5 本章小結(jié) 51
第二部分 大數(shù)據(jù)平臺配置
第4章 Hadoop文件參數(shù)配置 55
4.1 Hadoop配置文件說明 55
4.1.1 Hadoop環(huán)境配置 55
4.1.2 Hadoop守護進程環(huán)境配置 56
4.1.3 Hadoop配置參數(shù)格式 57
4.1.4 獲得Hadoop集群全部配置
信息 57
4.2 在master節(jié)點上安裝Hadoop 58
4.3 配置hdfs-site.xml文件參數(shù) 58
4.4 配置core-site.xml文件參數(shù) 59
4.5 配置mapred-site.xml 60
4.6 配置yarn-site.xml 61
4.7 Hadoop其他相關(guān)配置 62
4.8 本章小結(jié) 63
第5章 Hadoop集群運行 64
5.1 Hadoop運行狀態(tài) 64
5.2 配置Hadoop格式化 68
5.3 查看Java進程 69
5.4 查看HDFS的報告 70
5.5 使用瀏覽器查看節(jié)點狀態(tài) 71
5.6 停止Hadoop 74
5.7 本章小結(jié) 74
第三部分 大數(shù)據(jù)平臺組件的安裝與配置
第6章 Hive組件的安裝與配置 77
6.1 Hive相關(guān)知識 77
6.2 Hive組件架構(gòu) 78
6.3 下載和解壓安裝文件 79
6.3.1 基礎(chǔ)環(huán)境和安裝準備 79
6.3.2 解壓安裝文件 79
6.4 設置Hive環(huán)境 80
6.4.1 卸載MariaDB數(shù)據(jù)庫 80
6.4.2 安裝MySQL數(shù)據(jù)庫 80
6.4.3 配置Hive組件 85
6.5 初始化Hive元數(shù)據(jù) 87
6.6 啟動Hive 89
6.7 本章小結(jié) 89
第7章 HBase組件的安裝與配置 90
7.1 HBase相關(guān)知識 90
7.2 HBase功能應用 91
7.3 HBase組件設置 92
7.4 HBase安裝與配置 94
7.5 HBase常用Shell命令 98
7.6 本章小結(jié) 101
第8章 ZooKeeper組件的安裝與配置 102
8.1 ZooKeeper相關(guān)知識 102
8.1.1 ZooKeeper的重要概念 103
8.1.2 ZooKeeper的特點 104
8.2 ZooKeeper選項設置 104
8.3 ZooKeeper角色選舉 105
8.4 下載和安裝ZooKeeper 105
8.5 ZooKeeper的配置選項 106
8.5.1 master節(jié)點配置 106
8.5.2 slave節(jié)點配置 106
8.5.3 系統(tǒng)環(huán)境變量配置 106
8.6 啟動ZooKeeper 107
8.7 本章小結(jié) 107
第9章 Sqoop組件的安裝與配置 108
9.1 Sqoop相關(guān)知識 108
9.2 Sqoop的功能應用 109
9.2.1 Sqoop架構(gòu) 109
9.2.2 Sqoop導入原理 109
9.2.3 Sqoop導出原理 110
9.3 下載和解壓Sqoop 112
9.4 配置Sqoop環(huán)境 112
9.5 啟動Sqoop 113
9.6 Sqoop模板命令 114
9.7 Sqoop組件應用 116
9.8 本章小結(jié) 117
第10章 Flume組件的安裝與配置 118
10.1 Flume相關(guān)知識 118
10.2 Flume功能應用 119
10.2.1 Flume功能 119
10.2.2 Flume結(jié)構(gòu) 119
10.3 Flume組件設置 119
10.4 下載和解壓Flume 120
10.5 Flume組件部署 121
10.6 使用Flume發(fā)送和接收
信息 121
10.7 本章小結(jié) 122
第四部分 大數(shù)據(jù)平臺實施
第11章 大數(shù)據(jù)平臺實施方案的理解 125
11.1 系統(tǒng)實施方案概述 125
11.1.1 方案概述 125
11.1.2 項目實施思路 126
11.1.3 項目實施流程 126
11.2 確認客戶需求 127
11.2.1 確認需求分析準備 127
11.2.2 進行確認需求調(diào)研 127
11.2.3 系統(tǒng)詳細需求分析 129
11.3 編寫大數(shù)據(jù)平臺實施方案 129
11.3.1 大數(shù)據(jù)平臺規(guī)劃 129
11.3.2 大數(shù)據(jù)平臺部署 131
11.3.3 項目實施計劃 131
11.3.4 項目實施人員 132
11.4 執(zhí)行實施方案過程 133
11.4.1 實施內(nèi)容 133
11.4.2 實施流程 133
11.5 系統(tǒng)測試 133
11.6 項目驗收 135
11.7 本章小結(jié) 135
第12章 客戶培訓方案的制定 136
12.1 培訓方案概述 136
12.2 客戶培訓方案要點 137
12.2.1 培訓目標 137
12.2.2 培訓對象 138
12.2.3 培訓形式 139
12.2.4 培訓內(nèi)容 139
12.2.5 培訓計劃 140
12.3 文檔制作工具 140
12.3.1 制作甘特圖 140
12.3.2 制作WBS圖 143
12.4 大數(shù)據(jù)平臺操作演示 145
12.4.1 演示內(nèi)容選取 145
12.4.2 演示的步驟 146
12.4.3 演示的技巧 147
12.4.4 演示注意事項 148
12.5 本章小結(jié) 148
第五部分 大數(shù)據(jù)平臺監(jiān)控
第13章 大數(shù)據(jù)平臺監(jiān)控命令 151
13.1 大數(shù)據(jù)平臺運行狀態(tài) 151
13.1.1 大數(shù)據(jù)平臺主機系統(tǒng)狀態(tài) 152
13.1.2 大數(shù)據(jù)平臺Hadoop狀態(tài) 153
13.2 大數(shù)據(jù)平臺資源狀態(tài) 153
13.2.1 YARN資源狀態(tài) 154
13.2.2 HDFS資源狀態(tài) 154
13.2.3 HBase狀態(tài) 155
13.2.4 Hive狀態(tài) 155
13.3 大數(shù)據(jù)平臺服務狀態(tài) 156
13.3.1 ZooKeeper服務狀態(tài) 156
13.3.2 Sqoop服務狀態(tài) 157
13.3.3 Flume服務狀態(tài) 157
13.4 通過命令監(jiān)控大數(shù)據(jù)平臺的
運行狀態(tài) 157
13.4.1 通過命令查看大數(shù)據(jù)平臺
狀態(tài) 157
13.4.2 通過命令查看Hadoop
狀態(tài) 165
13.5 通過命令監(jiān)控大數(shù)據(jù)平臺的
資源狀態(tài) 166
13.5.1 通過命令查看YARN狀態(tài) 166
13.5.2 通過命令查看HDFS狀態(tài) 167
13.5.3 通過命令查看HBase狀態(tài) 168
13.5.4 通過命令查看Hive狀態(tài) 171
13.6 通過命令監(jiān)控大數(shù)據(jù)平臺的
服務狀態(tài) 174
13.6.1 通過命令查看ZooKeeper
狀態(tài) 174
13.6.2 通過命令查看Sqoop狀態(tài) 178
13.6.3 通過命令查看Flume狀態(tài) 180
13.7 本章小結(jié) 181
第14章 大數(shù)據(jù)平臺監(jiān)控界面和報表 182
14.1 大數(shù)據(jù)平臺常用組件 182
14.2 通過界面監(jiān)控大數(shù)據(jù)平臺的
運行狀態(tài) 183
14.2.1 通過界面查看大數(shù)據(jù)平臺
狀態(tài) 183
14.2.2 通過界面查看Hadoop
狀態(tài) 183
14.3 通過界面監(jiān)控大數(shù)據(jù)平臺的
資源狀態(tài) 185
14.3.1 通過界面監(jiān)控YARN的
狀態(tài) 185
14.3.2 通過界面監(jiān)控HDFS狀態(tài) 186
14.3.3 通過界面監(jiān)控HBase的
狀態(tài) 188
14.3.4 通過界面監(jiān)控Hive的狀態(tài) 189
14.4 本章小結(jié) 193
第15章 日志和告警信息監(jiān)控 194
15.1 大數(shù)據(jù)平臺日志信息 194
15.1.1 Hadoop日志簡介 194
15.1.2 大數(shù)據(jù)平臺主機日志信息 195
15.2 大數(shù)據(jù)平臺告警信息 196
15.3 查看大數(shù)據(jù)平臺日志信息 196
15.3.1 查看大數(shù)據(jù)平臺主機日志 196
15.3.2 在Hadoop MapReduce Jobs
中查看日志信息 203
15.3.3 通過用戶界面查看Hadoop
日志 205
15.3.4 通過命令查看Hadoop
日志 207
15.3.5 查看HBase日志 209
15.3.6 查看Hive日志 210
15.4 查看大數(shù)據(jù)平臺告警信息 211
15.4.1 查看大數(shù)據(jù)平臺主機告警
信息 211
15.4.2 查看Hadoop告警信息 213
15.4.3 查看HBase告警信息 215
15.4.4 查看Hive告警信息 218
15.5 本章小結(jié) 220
第六部分 大數(shù)據(jù)運維綜合實戰(zhàn)案例
第16章 大數(shù)據(jù)平臺及組件的安裝與
部署 223
16.1 項目背景 223
16.2 項目實施目標 223
16.3 Hadoop全分布部署 224
16.3.1 Hadoop全分布部署流程 224
16.3.2 Hadoop全分布部署要求 224
16.3.3 Hadoop部署操作步驟 225
16.3.4 Hadoop集群驗證 226
16.4 Sqoop組件部署 228
16.4.1 Sqoop組件部署流程 228
16.4.2 Sqoop組件部署要求 228
16.4.3 Sqoop部署操作步驟 229
16.4.4 Sqoop數(shù)據(jù)傳輸驗證 229
16.5 Hive組件部署 231
16.5.1 Hive組件部署流程 231
16.5.2 Hive組件部署要求 231
16.5.3 Hive部署操作步驟 232
16.5.4 Hive組件驗證 232
16.6 本章小結(jié) 233
第17章 大數(shù)據(jù)平臺的運行與應用 234
17.1 項目背景 234
17.2 項目實施目標 234
17.3 大數(shù)據(jù)平臺業(yè)務處理流程 235
17.4 大數(shù)據(jù)平臺業(yè)務處理系統(tǒng)
應用 236
17.4.1 生產(chǎn)環(huán)境數(shù)據(jù)導入大數(shù)據(jù)
平臺 236
17.4.2 業(yè)務處理層數(shù)據(jù)清洗分析 237
17.4.3 運行業(yè)務處理相關(guān)清洗
任務 245
17.4.4 數(shù)據(jù)進入數(shù)據(jù)倉庫 252
17.4.5 業(yè)務應用層大數(shù)據(jù)分析 254
17.4.6 數(shù)據(jù)倉庫數(shù)據(jù)導出數(shù)據(jù)
訪問層 255
17.4.7 數(shù)據(jù)訪問層大數(shù)據(jù)可視化 257
17.5 本章小結(jié) 259
第18章 大數(shù)據(jù)運維基本問題案例集 260
18.1 大數(shù)據(jù)平臺問題分析處理
流程 260
18.2 解決基礎(chǔ)環(huán)境的基本問題
案例 261
18.2.1 權(quán)限配置問題 261
18.2.2 SELinux問題 262
18.2.3 Hadoop安全模式問題 262
18.2.4 主機名配置造成問題 263
18.3 解決組件配置的基本問題
案例 264
18.3.1 Hive組件異常問題 264
18.3.2 Sqoop組件異常問題 267
18.3.3 HBase組件異常問題 268
18.3.4 ZooKeeper組件異常問題 268
18.4 解決平臺啟動的基本問題
案例 269
18.4.1 HDFS服務啟動問題 269
18.4.2 NameNode格式化異常
問題 270
18.4.3 DataNode進程啟動問題 271
18.4.4 SecondaryNameNode啟動
問題 273
18.5 解決平臺運行的基本問題
案例 274
18.6 本章小結(jié) 275
附錄 虛擬化軟件的使用 276
A.1 虛擬機的概念、用途及常用
軟件 276
A.1.1 虛擬機的概念 276
A.1.2 虛擬機的用途 278
A.1.3 常用虛擬機軟件 279
A.2 H3C CAS云計算管理平臺 280
A.2.1 H3C CAS云計算管理平臺
簡介 280
A.2.2 創(chuàng)建虛擬機 282
A.2.3 修改虛擬機硬件配置 284
A.2.4 基于CAS云平臺使用
虛擬機 285
A.2.5 刪除虛擬機 286
A.3 H3C教學與實踐管理平臺 287
A.3.1 H3C教學與實踐管理平臺
簡介 287
A.3.2 預習 287
A.3.3 上課學習 289
A.3.4 鞏固學習效果 292
A.3.5 完成學習 295
A.4 小結(jié) 296
書單推薦
