日本高清不卡全中文字幕,果冻传媒在线观看视频

本書以大數(shù)據(jù)的全生命周期中涉及技術(shù)為線索，比較全面地介紹了大數(shù)據(jù)技術(shù)架構(gòu)、基礎(chǔ)設(shè)施、大數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)與文件系統(tǒng)、NoSQL數(shù)據(jù)庫、數(shù)據(jù)分析與開發(fā)、數(shù)據(jù)可視化及應(yīng)用、大數(shù)據(jù)安全等方面內(nèi)容，同時(shí)針對Hadoop框架、HDFS、HBASE、Spark等技術(shù)為例進(jìn)行了部署展示，并針對大數(shù)據(jù)有關(guān)的云計(jì)算、人工智能等與大數(shù)據(jù)息息相關(guān)的內(nèi)容進(jìn)行較為詳細(xì)的介紹與說明。

本書針對相關(guān)知識(shí)點(diǎn)都進(jìn)行較為細(xì)致的講述，并配有與理論學(xué)習(xí)相結(jié)合的電子資源，包括教學(xué)大綱、課程PPT與實(shí)驗(yàn)案例等，可作為高校計(jì)算機(jī)、信息技術(shù)類大數(shù)據(jù)相關(guān)通識(shí)課程教材，也可以作為大數(shù)據(jù)相關(guān)專業(yè)的專業(yè)課程教材。

第 1章大數(shù)據(jù)的概述 1

本章導(dǎo)讀　1

1.1　什么是大數(shù)據(jù)　1

1.2　大數(shù)據(jù)的來源　3

1.3　大數(shù)據(jù)的分類　5

1.4　大數(shù)據(jù)的特征　7

1.5　大數(shù)據(jù)的新思維和新理念　8

1.6　大數(shù)據(jù)系統(tǒng)的基礎(chǔ)架構(gòu)　13

1.6.1　基礎(chǔ)支撐服務(wù)　14

1.6.2　數(shù)據(jù)采集及預(yù)處理服務(wù)　14

1.6.3　數(shù)據(jù)存儲(chǔ)服務(wù)　15

1.6.4　數(shù)據(jù)引擎服務(wù)　16

1.6.5　綜合應(yīng)用服務(wù)　16

1.6.6　數(shù)據(jù)治理體系　16

1.6.7　支撐體系　18

1.7　大數(shù)據(jù)的技術(shù)體系　18

1.8　本章小結(jié)　19

拓展閱讀　19

本章習(xí)題　20

第　2章大數(shù)據(jù)基礎(chǔ)設(shè)施　22

本章導(dǎo)讀　22

2.1　虛擬化技術(shù)　23

2.1.1　虛擬化的定義　23

2.1.2　虛擬化的特征　24

2.1.3　虛擬化技術(shù)的分類　26

2.2　云計(jì)算技術(shù)　30

2.2.1　云計(jì)算的定義　30

2.2.2　云計(jì)算的特點(diǎn)　31

2.2.3　云計(jì)算的技術(shù)架構(gòu)　32

2.2.4　云計(jì)算的部署模式　34

2.2.5　云計(jì)算平臺(tái)的功能　36

2.3　Hadoop分布式系統(tǒng)　37

2.3.1　Hadoop簡介　37

2.3.2　Hadoop發(fā)展歷史　38

2.3.3　Hadoop的特點(diǎn)　39

2.3.4　Hadoop的版本演進(jìn)　40

2.3.5　Hadoop生態(tài)組件　41

2.4　本章小結(jié)　45

拓展閱讀　45

本章習(xí)題　47

第3章　大數(shù)據(jù)采集與預(yù)處理　48

本章導(dǎo)讀　48

3.1　大數(shù)據(jù)采集　49

3.1.1　大數(shù)據(jù)采集概述　49

3.1.2　日志數(shù)據(jù)采集　52

3.1.3　網(wǎng)絡(luò)數(shù)據(jù)采集　56

3.1.4　網(wǎng)絡(luò)旁路的數(shù)據(jù)采集　69

3.2　大數(shù)據(jù)預(yù)處理　70

3.2.1　數(shù)據(jù)預(yù)處理概述　70

3.2.2　數(shù)據(jù)特征　71

3.2.3　數(shù)據(jù)規(guī)范化　73

3.2.4　數(shù)據(jù)抽取　73

3.2.5　數(shù)據(jù)清洗　75

3.2.6　數(shù)據(jù)集成　81

3.2.7　數(shù)據(jù)轉(zhuǎn)換　82

3.2.8　數(shù)據(jù)加載　83

3.2.9　數(shù)據(jù)消減　84

3.3　本章小結(jié)　85

拓展閱讀　86

Kettle　86

Sqoop　88

本章習(xí)題　90

第4章　大數(shù)據(jù)存儲(chǔ)與分布式文件系統(tǒng)　91

本章導(dǎo)讀　91

4.1　傳統(tǒng)的存儲(chǔ)設(shè)備　92

4.1.1　機(jī)械硬盤　92

4.1.2　固態(tài)硬盤　94

4.1.3　移動(dòng)存儲(chǔ)介質(zhì)　94

4.1.4　傳統(tǒng)存儲(chǔ)系統(tǒng)　95

4.2　獨(dú)立磁盤冗余陣列（RAID）　96

4.2.1　RAID概述　96

4.2.2　RAID架構(gòu)　97

4.2.3　RAID 0　99

4.2.4　RAID 1　102

4.2.5　RAID 5　102

4.3　HDFS分布式文件系統(tǒng)　102

4.3.1　HDFS的簡介　103

4.3.2　HDFS的體系架構(gòu)　106

4.3.3　名稱節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)　109

4.3.4　映像文件與事務(wù)日志的歸并　111

4.3.5　HDFS的數(shù)據(jù)存儲(chǔ)特性　113

4.3.6　HDFS的容錯(cuò)機(jī)制　114

4.3.7　HDFS的高可用機(jī)制　115

4.3.8　HDFS的聯(lián)邦機(jī)制　116

4.4　本章小結(jié)　118

拓展閱讀　118

本章習(xí)題　120

第5章　大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)　121

5.1　非關(guān)系NoSQL數(shù)據(jù)庫　123

5.1.1　NoSQL的特點(diǎn)　123

5.1.2　NoSQL的理論基礎(chǔ)　124

5.1.3　NoSQL的類型　130

5.2.4.　NoSQL的發(fā)展趨勢及挑戰(zhàn)　136

5.3　HBase數(shù)據(jù)庫　137

5.3.1　HBase的概述　137

5.3.2　HBase數(shù)據(jù)模型　138

5.3.3　Hbase體系架構(gòu)　141

5.3.4　HBase運(yùn)行機(jī)制　145

5.3　數(shù)據(jù)倉庫　147

5.4.1　數(shù)據(jù)倉庫的發(fā)展　147

5.4.2　Hive　148

5.4.3　Impala　151

5.7　本章小結(jié)　154

拓展閱讀　154

數(shù)據(jù)湖的概念　154

數(shù)據(jù)湖的特點(diǎn)　155

本章習(xí)題　157

第6章　大數(shù)據(jù)的計(jì)算模式　158

本章導(dǎo)讀　158

6.1　大數(shù)據(jù)計(jì)算模式的特征和分類　159

6.2　MapReduce批處理計(jì)算框架　161

6.2.1　MapReduce的思想　162

6.2.2　MapReduce的功能函數(shù)　164

6.2.3　MapReduce的體系架構(gòu)　166

6.2.4　MapReduce的工作原理　170

6.2.5　MapReduce的實(shí)例　175

6.3　YARN資源管理　176

6.3.1　YARN資源管理的概述　176

6.3.2　資源管理器　178

6.3.3　節(jié)點(diǎn)管理器　178

6.3.4　應(yīng)用程序管理器　178

6.3.5　YARN資源管理的工作流程　179

6.3.6　YARN資源管理的優(yōu)勢　180

6.4　Spark內(nèi)存并行計(jì)算框架　181

6.4.1　Spark內(nèi)存并行計(jì)算框架的概述　181

6.4.2　Spark內(nèi)存并行計(jì)算框架的思想　183

6.4.3　Spark內(nèi)存并行計(jì)算框架的體系架構(gòu)　186

6.4.4　Spark內(nèi)存并行計(jì)算框架的運(yùn)行流程　188

6.4.5　Spark內(nèi)存并行計(jì)算框架的RDD　190

6.4.6　Spark交互查詢引擎　200

6.6　本章小結(jié)　202

拓展閱讀　202

本章習(xí)題　205

第7章　大數(shù)據(jù)分析挖掘與可視化　207

本章導(dǎo)讀　207

7.1　大數(shù)據(jù)分析挖掘　207

7.1.1　大數(shù)據(jù)挖掘概述　207

7.1.2　數(shù)據(jù)挖掘與數(shù)據(jù)分析　210

7.1.3　大數(shù)據(jù)挖掘的特點(diǎn)與挑戰(zhàn)　211

7.2　數(shù)據(jù)相似性　214

7.2.1　數(shù)值屬性的相似性度量　215

7.2.2　標(biāo)稱屬性的相似性度量　216

7.2.3　文本相似性度量　217

7.3　數(shù)據(jù)挖掘方法　218

7.4　大數(shù)據(jù)挖掘工具　219

7.4.1　weka　219

7.4.2　Spark MLlib　221

7.5　數(shù)據(jù)可視化概述　223

7.5.1　大數(shù)據(jù)可視化的主要進(jìn)展　224

7.5.2　大數(shù)據(jù)可視化的發(fā)展趨勢　226

7.6　數(shù)據(jù)可視化流程　228

7.7　數(shù)據(jù)可視化原則　230

7.8　數(shù)據(jù)可視化工具　230

7.9　時(shí)空數(shù)據(jù)可視化　239

7.9.1　時(shí)變數(shù)據(jù)可視化　239

7.9.2　空間數(shù)據(jù)可視化　242

7.10　非時(shí)空數(shù)據(jù)可視化　242

7.10.1　文本數(shù)據(jù)可視化　242

7.10.2　復(fù)雜高維數(shù)據(jù)可視化　242

7.11　數(shù)據(jù)可視化交互　246

7.11.1　交互延時(shí)　247

7.11.2　交互分類　247

7.11.3　交互技術(shù)　248

7.12　本章小結(jié)　248

拓展閱讀　248

本章習(xí)題　250

第8章　大數(shù)據(jù)應(yīng)用　251

8.1　大數(shù)據(jù)的行業(yè)應(yīng)用　251

8.2　智慧城市　253

8.2.1　智慧城市概述及建設(shè)內(nèi)容　253

8.2.2　智能交通與大數(shù)據(jù)　254

8.2.3　環(huán)保監(jiān)測與大數(shù)據(jù)　255

8.2.4　城市規(guī)劃與大數(shù)據(jù)　256

8.2.5　公共安全與大數(shù)據(jù)　257

8.3　自動(dòng)駕駛汽車　258

8.3.1　自動(dòng)駕駛汽車的發(fā)展階段　259

8.3.2　軟件定義汽車　260

8.3.3　車聯(lián)網(wǎng)與大數(shù)據(jù)　262

8.3.4　無人駕駛汽車與大數(shù)據(jù)　265

8.4　本章小結(jié)　267

拓展閱讀：　267

本章習(xí)題：　270

第9章　大數(shù)據(jù)安全　271

9.1　物理安全　272

9.2.1　物理安全管理　273

9.2.2　物理安全技術(shù)　274

9.2　數(shù)據(jù)安全　275

9.3.1　面臨的問題　276

9.3.2　安全機(jī)制和解決方案　278

9.3　虛擬化安全　281

9.4　安全監(jiān)管　282

9.5　應(yīng)用安全　283

9.6　業(yè)務(wù)安全　283

9.7　大數(shù)據(jù)保護(hù)　284

9.8　本章小結(jié)　285

拓展閱讀：　285

本章習(xí)題：　288

你還可能感興趣

我要評論