大數(shù)據(jù)時(shí)代的到來，帶來了信息技術(shù)發(fā)展的巨大變革，并深刻影響著社會(huì)生產(chǎn)和人民生活的方方面面。全球范圍內(nèi)，世界各國(guó)政府均高度重視大數(shù)據(jù)技術(shù)的研究與產(chǎn)業(yè)發(fā)展，紛紛把大數(shù)據(jù)上升為國(guó)家戰(zhàn)略加以重點(diǎn)推進(jìn)。大數(shù)據(jù)已經(jīng)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，越來越多的行業(yè)面臨著海量數(shù)據(jù)存儲(chǔ)和分析的挑戰(zhàn)。 Hadoop由道格·卡丁(Doug Cutting)創(chuàng)建，起源于開源項(xiàng)目網(wǎng)絡(luò)搜索引擎Apache Nutch，于2008年1月成為Apache頂級(jí)項(xiàng)目。Hadoop是一個(gè)開源的、可運(yùn)行于大規(guī)模集群上的分布式存儲(chǔ)和計(jì)算的軟件框架，它具有高可靠、彈性可擴(kuò)展等特點(diǎn)，非常適合處理海量數(shù)據(jù)。Hadoop實(shí)現(xiàn)了分布式文件系統(tǒng)HDFS和分布式計(jì)算框架MapReduce等功能，允許用戶可以在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下，使用簡(jiǎn)單的編程模型輕松編寫出分布式程序，將其運(yùn)行于計(jì)算機(jī)集群上，完成對(duì)大規(guī)模數(shù)據(jù)集的存儲(chǔ)和分析。目前，Hadoop在業(yè)內(nèi)得到了廣泛應(yīng)用，已經(jīng)是公認(rèn)的大數(shù)據(jù)通用存儲(chǔ)和分析平臺(tái)，許多廠商都圍繞Hadoop提供開發(fā)工具、開源軟件、商業(yè)化工具和技術(shù)服務(wù)，例如谷歌、雅虎、微軟、淘寶等都支持Hadoop。另外，還有一些專注于Hadoop的公司，例如Cloudera、Hortonworks和MapR都可以提供商業(yè)化的Hadoop支持。 未來5～10年，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)將會(huì)處于高速發(fā)展時(shí)期，社會(huì)亟需高校培養(yǎng)一大批大數(shù)據(jù)相關(guān)專業(yè)人才。自2016年以來，我國(guó)新增的大數(shù)據(jù)類專業(yè)包括“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科專業(yè)(080910T)、“數(shù)據(jù)管理與應(yīng)用”本科專業(yè)(120108T)、“大數(shù)據(jù)技術(shù)與應(yīng)用”�？茖�業(yè)(610215)，以適應(yīng)地方產(chǎn)業(yè)發(fā)展對(duì)戰(zhàn)略性新興產(chǎn)業(yè)的人才需求。因此，學(xué)會(huì)使用大數(shù)據(jù)通用存儲(chǔ)和分析平臺(tái)Hadoop及其生態(tài)系統(tǒng)對(duì)于未來適應(yīng)新一代信息技術(shù)產(chǎn)業(yè)的發(fā)展具有重要的意義。 實(shí)踐教學(xué)是高等院校知識(shí)創(chuàng)新和人才培養(yǎng)的重要環(huán)節(jié)，因此，實(shí)驗(yàn)實(shí)訓(xùn)類教材建設(shè)在學(xué)生能力培養(yǎng)中發(fā)揮著不可或缺的重要作用。本書面向Hadoop生態(tài)系統(tǒng)，以企業(yè)需求為導(dǎo)向，緊緊圍繞大數(shù)據(jù)應(yīng)用的閉環(huán)流程展開講述，引導(dǎo)學(xué)生進(jìn)行大數(shù)據(jù)技術(shù)的初級(jí)實(shí)踐，旨在使讀者掌握Hadoop的架構(gòu)設(shè)計(jì)和Hadoop的運(yùn)用能力。 本書分為上篇“基礎(chǔ)實(shí)驗(yàn)篇”和下篇“拓展實(shí)驗(yàn)篇”，共10章，涉及數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)處理與分析等大數(shù)據(jù)應(yīng)用生命周期中各階段典型組件的部署、使用和基礎(chǔ)編程方法。在“基礎(chǔ)實(shí)驗(yàn)篇”中，實(shí)驗(yàn)1介紹了Linux基本命令、vim編輯器、Java基本命令、SSH安全通信協(xié)議、Hadoop基礎(chǔ)知識(shí)等先修技能，然后詳細(xì)講述了部署全分布模式Hadoop集群的全過程，并附加了偽分布模式Hadoop集群的部署過程；實(shí)驗(yàn)2介紹了分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲(chǔ)原理、接口等基礎(chǔ)知識(shí)，詳細(xì)演示了如何通過HDFS Web UI和HDFS Shell命令使用HDFS以及HDFS Java API編程，并附加了如何搭建HDFS NameNode HA環(huán)境；實(shí)驗(yàn)3在介紹了分布式計(jì)算框架MapReduce編程思想、作業(yè)執(zhí)行流程的基礎(chǔ)上，講述了如何編寫MapReduce程序，并附加了在Windows平臺(tái)上開發(fā)MapReduce程序和使用MapReduce統(tǒng)計(jì)對(duì)象中某些屬性的案例；實(shí)驗(yàn)4介紹了分布式協(xié)調(diào)框架ZooKeeper的系統(tǒng)模型、工作原理等基本知識(shí)，詳細(xì)演示了如何部署ZooKeeper集群以及通過ZooKeeper Shell命令使用ZooKeeper，并附加了ZooKeeper編程實(shí)踐；實(shí)驗(yàn)5介紹了分布式數(shù)據(jù)庫(kù)HBase的數(shù)據(jù)模型、體系架構(gòu)、接口等基礎(chǔ)知識(shí)，詳細(xì)演示了如何部署全分布模式HBase集群以及通過HBase Web UI和HBase Shell使用HBase，并附加了HBase編程實(shí)踐；實(shí)驗(yàn)6介紹了數(shù)據(jù)倉(cāng)庫(kù)Hive的體系架構(gòu)、數(shù)據(jù)類型、文件格式、數(shù)據(jù)模型、函數(shù)、接口等基礎(chǔ)知識(shí)，詳細(xì)演示了如何部署本地模式Hive以及通過Hive Shell使用Hive，并附加了Hive編程實(shí)踐。在“拓展實(shí)驗(yàn)篇”中，實(shí)驗(yàn)7介紹了內(nèi)存型計(jì)算框架Spark的生態(tài)系統(tǒng)、體系架構(gòu)、計(jì)算模型、RDD原理等基礎(chǔ)知識(shí)，詳細(xì)演示了如何部署SparkStandalone集群以及Spark簡(jiǎn)單編程；實(shí)驗(yàn)8介紹了數(shù)據(jù)遷移工具Sqoop的功能、體系架構(gòu)、接口等基礎(chǔ)知識(shí)，詳細(xì)演示了如何安裝Sqoop和使用Sqoop Shell完成數(shù)據(jù)的導(dǎo)入導(dǎo)出操作；實(shí)驗(yàn)9介紹了日志采集工具Flume的功能、體系架構(gòu)、接口等基礎(chǔ)知識(shí)，詳細(xì)演示了如何安裝、配置Flume以及使用Flume高效進(jìn)行海量日志的收集、聚合和移動(dòng)；實(shí)驗(yàn)10介紹了分布式流平臺(tái)Kafka的功能、體系架構(gòu)、Kafka Shell、Kafka API，詳細(xì)演示了如何部署Kafka集群以及通過Kafka Shell使用Kafka進(jìn)行生產(chǎn)和消費(fèi)消息。 為了方便讀者整體把握各個(gè)實(shí)驗(yàn)，本書在每個(gè)實(shí)驗(yàn)的一開始先給出該實(shí)驗(yàn)的知識(shí)地圖。根據(jù)我們近幾年的教學(xué)實(shí)踐，建議根據(jù)本書為大數(shù)據(jù)技術(shù)原理與應(yīng)用課程增加16學(xué)時(shí)的上機(jī)實(shí)踐課，可根據(jù)具體情況靈活安排本書實(shí)驗(yàn)項(xiàng)目。 本書面向高等院校計(jì)算機(jī)、大數(shù)據(jù)、人工智能等相關(guān)專業(yè)的研究生、本科生，可以作為專業(yè)核心課程大數(shù)據(jù)技術(shù)原理與應(yīng)用的輔助實(shí)驗(yàn)教材。本書是《Hadoop大數(shù)據(jù)原理與應(yīng)用》教材的配套實(shí)驗(yàn)教程，兩本書配套使用，可以達(dá)到更好的學(xué)習(xí)效果。此外，本書也可以作為現(xiàn)有其他大數(shù)據(jù)教材的實(shí)驗(yàn)教材或輔助教材。 本書由校企聯(lián)合完成，實(shí)驗(yàn)1由安徽信息工程學(xué)院李月軍編寫，實(shí)驗(yàn)2由鄭州升達(dá)經(jīng)貿(mào)管理學(xué)院周湘貞編寫，實(shí)驗(yàn)3由國(guó)信藍(lán)橋教育科技(北京)股份有限公司顏群工程師編寫，實(shí)驗(yàn)4～10由西京學(xué)院徐魯輝編寫。此外，李月軍和周湘貞還參與了本書全部架構(gòu)設(shè)計(jì)和部分審閱工作。全書由國(guó)信藍(lán)橋教育科技(北京)股份有限公司大數(shù)據(jù)專家唐友剛主審，由西京學(xué)院徐魯輝負(fù)責(zé)策劃、審校和定稿。 本書與配套教材《Hadoop大數(shù)據(jù)原理與應(yīng)用》擁有完整的立體化資源，包括教學(xué)大綱、授課計(jì)劃、教案、PPT、源代碼、在線題庫(kù)、實(shí)驗(yàn)大綱、實(shí)驗(yàn)指導(dǎo)書、實(shí)驗(yàn)視頻、項(xiàng)目案例庫(kù)等教學(xué)資源，提供全方位的免費(fèi)服務(wù)。讀者可通過以下三種方式免費(fèi)在線瀏覽或下載全部配套資源：教材官方網(wǎng)站https://dzxxgcx.xijing.edu.cn/xkzy/zxkc.htm/pabigdata/ index.asp，教材官方云班課“Hadoop大數(shù)據(jù)原理與應(yīng)用教材云班課”(邀請(qǐng)碼5962412)，教材官方GitHub網(wǎng)站https://github.com/xuluhuixijing/pabigdata。 本書中關(guān)于圖形界面元素代替符號(hào)的約定如表1所示。 表1　本書圖形界面元素代替符號(hào)約定 文字描述 代替符號(hào) 舉　　例 按鈕 邊框+陰影+底紋 “確定”按鈕可簡(jiǎn)化為確定 菜單項(xiàng) 『 』 菜單項(xiàng)“文件”可簡(jiǎn)化為『File』 連續(xù)選擇菜單項(xiàng)及子菜單項(xiàng) → 選擇『File』→『New』→『Java Project』 下拉框、單選框、復(fù)選框選項(xiàng) [ ] 復(fù)選框選項(xiàng)“啟用用戶”可簡(jiǎn)化為[啟用用戶] 窗口名 【 】 例如，進(jìn)入窗口【Properties for HDFSExample】 提示信息 “ ” 例如，否則會(huì)出現(xiàn)錯(cuò)誤信息“bash: ****: command not found...” 本書中各實(shí)驗(yàn)所使用軟件的名稱、版本、發(fā)布日期及下載地址如表2所示。 表2　本書使用軟件的名稱、版本、發(fā)布日期及下載地址 序號(hào) 軟件名稱 軟件版本 發(fā)布日期 下載地址 安裝文件名 1 VMware Workstation Pro VMware Workstation 12.5.7 Pro for Windows 2017.6.22 https://www.vmware.com/products /workstationpro.html VMwareworkstation full12.5.75813279. exe 2 CentOS CentOS 7.6.1810 2018.11.26 https://www.centos.org/download/ CentOS7x86_64 DVD1810.iso 3 Java Oracle JDK 8u191 2018.10.16 http://www.oracle.com/technetwork /java/javase/downloads/index.html jdk8u191linuxx64. tar.gz 4 Hadoop Hadoop 2.9.2 2018.11.19 http://hadoop.apache.org /releases.html hadoop2.9.2.tar.gz 5 Eclipse Eclipse IDE 201809 for Java evelopers 2018.9 https://www.eclipse.org/downloads /packages eclipsejava201809 linuxgtkx86_64. tar.gz 6 ZooKeeper ZooKeeper 3.4.13 2018.7.15 http://zookeeper.apache.org /releases.html zookeeper3.4.13. tar.gz 7 HBase HBase 1.4.10 2019.6.10 https://hbase.apache.org /downloads.html hbase1.4.10bin.tar.gz 8 MySQL Connector /J MySQL Connector/J 5.1.48 2019.7.29 https://dev.mysql.com/downloads /connector/j/ mysqlconnectorjava 5.1.48.tar.gz 續(xù)表　　 序號(hào) 軟件名稱 軟件版本 發(fā)布日期 下載地址 安裝文件名 9 MySQL Community Server MySQL Community 5.7.27 2019.7.22 http://dev.mysql.com/get/mysql57 communityreleaseel711.noarch. rpm mysql57community releaseel711.noarch. rpm(Yum Repository) 10 Hive Hive 2.3.4 2018.11.7 https://hive.apache.org /downloads.html apachehive2.3.4 bin.tar.gz 11 Spark Spark 2.3.3 2019.2.15 https://spark.apache.org /downloads.html spark2.3.3binhaoop 2.7.tgz 12 Sqoop Sqoop 1.4.7 2017.12 http://www.apache.org /dyn/closer.lua/sqoop/ sqoop1.4.7.bin_ hadoop2.6.0.tar.gz 13 Flume Flume 1.9.0 2019.1.8 http://flume.apache.org /download.html apacheflume1.9.0 bin.tar.gz 14 Kafka Kafka 2.1.1 2019.2.15 http://kafka.apache.org /downloads kafka_2.122.1.1.tgz 本書在編寫過程中得到了很多人的幫助。國(guó)信藍(lán)橋教育科技(北京)股份有限公司高校合作部項(xiàng)目經(jīng)理單寶軍在教材編寫方面提供了幫助，西京學(xué)院校長(zhǎng)黃文準(zhǔn)、西京學(xué)院信息工程學(xué)院院長(zhǎng)郭建新、副院長(zhǎng)烏偉在學(xué)院政策方面提供了支持，西安電子科技大學(xué)出版社李惠萍編輯對(duì)本書的出版提出了很多意見和建議，在此一并表示衷心感謝。 本書在撰寫的過程中參考了部分國(guó)內(nèi)外教材、專著、論文和開源社區(qū)資源，在此也向這些文獻(xiàn)作者一并致謝。由于作者水平和能力有限，書中難免有疏漏與不足之處，衷心希望廣大同行和讀者批評(píng)指正。