玖玖玖在线精品播放,两个人看的视频www高清

本書共11章，從Hadoop概述開始，介紹Hadoop的安裝、配置與管理，并對(duì)Hadoop的生態(tài)體系架構(gòu)進(jìn)行介紹，包括HDFS技術(shù)、YARN技術(shù)、MapReduce技術(shù)、Hadoop I/O操作、海量數(shù)據(jù)庫(kù)技術(shù)HBase、ZooKeeper技術(shù)、分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive，以及Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop，最后對(duì)大數(shù)據(jù)實(shí)時(shí)處理技術(shù)進(jìn)行介紹，旨在讓讀者了解當(dāng)前其他的大數(shù)據(jù)處理技術(shù)。本書還包括豐富的實(shí)踐操作，實(shí)現(xiàn)理論與實(shí)踐的有機(jī)結(jié)合。

本書除介紹Hadoop的理論外，還介紹如何使用各組件，但因?yàn)橹唤榻B基礎(chǔ)的使用方法，沒有涉及底層的高級(jí)內(nèi)容，所以本書只起引導(dǎo)作用。本書旨在讓讀者了解Hadoop并能夠使用Hadoop的基本功能，并不是學(xué)習(xí)Hadoop的完整手冊(cè)。

本書適合作為高等院校和職業(yè)院校大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算及其他計(jì)算機(jī)相關(guān)專業(yè)的教材，也可供云計(jì)算與大數(shù)據(jù)技術(shù)相關(guān)專業(yè)的培訓(xùn)班使用。

目錄

第　1章

Hadoop概述　1

1.1　Hadoop簡(jiǎn)介　1

1.2　Hadoop體系架構(gòu)　3

1.2.1　Hadoop基礎(chǔ)架構(gòu)　3

1.2.2　Hadoop生態(tài)系統(tǒng)　3

1.3　Hadoop與分布式開發(fā)　5

1.4　Hadoop行業(yè)應(yīng)用案例分析　6

1.4.1　Hadoop在門戶網(wǎng)站中的應(yīng)用　6

1.4.2　Hadoop在搜索引擎中的應(yīng)用　7

1.4.3　Hadoop在電商平臺(tái)中的應(yīng)用　7

習(xí)題　8

第　2章

Hadoop的安裝、配置與

管理　9

2.1　實(shí)驗(yàn)準(zhǔn)備　9

2.2　配置一個(gè)單節(jié)點(diǎn)環(huán)境　10

2.2.1　運(yùn)行一個(gè)虛擬環(huán)境CentOS　10

2.2.2　配置網(wǎng)絡(luò)　11

2.2.3　創(chuàng)建新的用戶組和用戶　15

2.2.4　上傳文件到CentOS并配置

Java和Hadoop環(huán)境　16

2.2.5　修改Hadoop 3.2配置文件　19

2.2.6　修改CentOS主機(jī)名　22

2.2.7　綁定hostname與IP地址　22

2.2.8　關(guān)閉防火墻　23

2.3　節(jié)點(diǎn)之間的免密碼登錄　23

2.3.1　什么是SSH　23

2.3.2　復(fù)制虛擬機(jī)節(jié)點(diǎn)　24

2.3.3　配置SSH免密碼登錄　25

2.4　Hadoop的啟動(dòng)和測(cè)試　27

2.4.1　格式化文件系統(tǒng)　27

2.4.2　啟動(dòng)HDFS　28

2.4.3　啟動(dòng)YARN　29

2.4.4　啟動(dòng)JobHistory Server　29

2.4.5　集群驗(yàn)證　30

2.4.6　需要了解的默認(rèn)配置　31

2.5　動(dòng)態(tài)管理節(jié)點(diǎn)　32

2.5.1　動(dòng)態(tài)增加和刪除DataNode　32

2.5.2　動(dòng)態(tài)修改TaskTracker　33

習(xí)題　34

第3章

HDFS技術(shù)　36

3.1　HDFS的特點(diǎn)　36

3.2　HDFS架構(gòu)　37

3.2.1　數(shù)據(jù)塊　38

3.2.2　NameNode與DataNode　39

3.2.3　輔助NameNode　40

3.2.4　安全模式與負(fù)載均衡　42

3.2.5　垃圾回收　43

3.3　HDFS Shell命令　44

3.3.1　文件處理命令　44

3.3.2　交互式命令　49

3.4　HDFS中Java API的使用　53

3.4.1　上傳文件　54

3.4.2　新建文件　55

3.4.3　查看文件詳細(xì)信息　56

3.4.4　下載文件　57

3.5　RPC通信　58

3.5.1　反射機(jī)制　59

3.5.2　代理模式與動(dòng)態(tài)代理　62

3.5.3　Hadoop RPC機(jī)制與源碼

分析　64

習(xí)題　68

第4章

YARN技術(shù)　69

4.1　YARN概述　69

4.1.1　YARN產(chǎn)生背景MRv1的

局限性　69

4.1.2　YARN的通信協(xié)議　70

4.2　YARN基本框架　71

4.3　YARN資源調(diào)度器　73

4.4　YARN的工作流程　74

4.5　YARN的實(shí)戰(zhàn)案例　76

習(xí)題　79

第5章

MapReduce技術(shù)　80

5.1　什么是MapReduce　80

5.2　MapReduce編程模型　81

5.2.1　MapReduce模型簡(jiǎn)介　81

5.2.2　MapReduce模型分類　82

5.2.3　MapReduce編程實(shí)例

WordCount　83

5.3　MapReduce數(shù)據(jù)流　84

5.3.1　分片并格式化原始數(shù)據(jù)

（InputFormat）　84

5.3.2　Map過(guò)程　86

5.3.3　Shuffle過(guò)程　86

5.3.4　Reduce過(guò)程　91

5.3.5　按指定格式寫入文件

（OutputFormat）　92

5.4　MapReduce任務(wù)流程　92

5.5　MapReduce的Streaming和

Pipe　93

5.5.1　Hadoop Streaming　93

5.5.2　Hadoop Pipe　95

5.6　MapReduce性能調(diào)優(yōu)　96

5.7　MapReduce實(shí)戰(zhàn)　98

5.7.1　快速入門　98

5.7.2　簡(jiǎn)單使用Eclipse插件　110

習(xí)題　118

第6章

Hadoop　I/O操作　119

6.1　HDFS數(shù)據(jù)完整性　119

6.1.1　校驗(yàn)和　119

6.1.2　運(yùn)行后臺(tái)進(jìn)程來(lái)檢測(cè)數(shù)據(jù)塊　120

6.2　基于文件的數(shù)據(jù)結(jié)構(gòu)　121

6.2.1　SequenceFile的存儲(chǔ)　121

6.2.2　MapFile的存儲(chǔ)　125

6.2.3　SequenceFile轉(zhuǎn)換為

MapFile　128

6.3　壓縮　129

6.3.1　認(rèn)識(shí)壓縮　129

6.3.2　Codec　130

6.3.3　本地庫(kù)　132

6.3.4　如何選擇壓縮格式　133

6.4　序列化　134

6.4.1　認(rèn)識(shí)序列化　134

6.4.2　Writable接口　135

6.4.3　WritableComparable接口　136

6.4.4　Hadoop Writable基本類型　137

6.4.5　自定義Writable類型　142

習(xí)題　144

第7章

海量數(shù)據(jù)庫(kù)技術(shù)HBase　145

7.1　初識(shí)HBase　145

7.2　HBase表視圖　146

7.2.1　概念視圖　146

7.2.2　物理視圖　147

7.3　HBase物理存儲(chǔ)模型　148

7.4　安裝HBase　154

7.4.1　HBase單節(jié)點(diǎn)安裝　154

7.4.2　HBase偽分布式安裝　157

7.4.3　HBase完全分布式安裝　158

7.5　HBase Shell　160

7.5.1　HBase Shell的命令　160

7.5.2　general操作　162

7.5.3　DDL操作　163

7.5.4　DML操作　165

7.6　HBase操作實(shí)踐　167

習(xí)題　170

第8章

ZooKeeper技術(shù)　171

8.1　分布式協(xié)調(diào)技術(shù)及其實(shí)現(xiàn)者　171

8.2　ZooKeeper基本架構(gòu)　172

8.3　ZooKeeper數(shù)據(jù)模型　173

8.3.1　Znode　173

8.3.2　ZooKeeper中的時(shí)間　174

8.3.3　Znode屬性　175

8.3.4　watch觸發(fā)器　176

8.4　ZooKeeper集群安裝　177

8.5　ZooKeeper的主要Shell

操作　179

8.6　典型應(yīng)用場(chǎng)景　180

8.6.1　數(shù)據(jù)發(fā)布與訂閱　180

8.6.2　統(tǒng)一命名服務(wù)　182

8.6.3　分布式通知/協(xié)調(diào)　182

習(xí)題　183

第9章

分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive　184

9.1　Hive出現(xiàn)的原因　184

9.2　Hive服務(wù)的組成　185

9.3　Hive的安裝　186

9.3.1　Hive基本安裝　186

9.3.2　MySQL的安裝　187

9.3.3　Hive的配置　188

9.4　Hive Shell　191

9.5　HQL的概念和使用　192

9.5.1　認(rèn)識(shí)HQL　192

9.5.2　Hive管理數(shù)據(jù)方式　192

9.5.3　Hive表的DDL操作　194

9.5.4　Hive表的DML操作　203

9.6　使用Hive實(shí)現(xiàn)聊天數(shù)據(jù)分析

案例　207

習(xí)題　210

第　10章

Hadoop與RDBMS數(shù)據(jù)遷移

工具Sqoop　211

10.1　Sqoop簡(jiǎn)介及基本安裝　211

10.2　Sqoop的配置　212

10.3　Sqoop的相關(guān)功能　213

10.3.1　Sqoop的工具命令　213

10.3.2　Sqoop與MySQL　214

10.3.3　sqoop-import操作　215

10.3.4　sqoop-import-all-tables

操作　220

10.3.5　sqoop-export操作　222

10.3.6　sqoop-list-databases和

sqoop-list-tables操作　224

10.4　Hive、Pig和Sqoop三者之間

的關(guān)系　224

10.5　基于Sqoop的MySQL和Hive

之間的數(shù)據(jù)遷移實(shí)操案例　225

習(xí)題　228

第　11章

大數(shù)據(jù)實(shí)時(shí)處理技術(shù)　229

11.1　Flink　229

11.1.1　Flink架構(gòu)　230

11.1.2　Flink部署　231

11.1.3　Flink的運(yùn)行架構(gòu)　235

11.1.4　Flink流處理API　238

11.2　Spark　239

11.2.1　Apache Spark架構(gòu)　239

11.2.2　Apache Spark的擴(kuò)展

功能　241

11.3　Flink與Spark異同　243

習(xí)題　244

你還可能感興趣

我要評(píng)論