一章　Hadoop介紹　1 1.1　Hadoop概述　1 1.1.1　Hadoop簡介　1 1.1.2　Hadoop的發(fā)展歷史　2 1.1.3　Hadoop的特點　3 1.2　Hadoop核心　4 1.2.1　分布式文件系統(tǒng)——HDFS　4 1.2.2　分布式計算框架——MapReduce　7 1.2.3　集群資源管理器——YARN　9 1.3　Hadoop生態(tài)系統(tǒng)　12 1.4　Hadoop應用場景　14 小結　15 二章　Hadoop集群的搭建及配置　16 任務2.1　安裝及配置虛擬機　17 2.1.1　創(chuàng)建Linux虛擬機　17 2.1.2　設置固定IP　25 2.1.3　遠程連接虛擬機　27 2.1.4　虛擬機在線安裝軟件　29 2.1.5　任務實現(xiàn)　32 任務2.2　安裝Java　32 2.2.1　在Windows下安裝Java　33 2.2.2　在Linux下安裝Java　35 2.2.3　任務實現(xiàn)　36 任務2.3　搭建Hadoop完全分布式集群　36 2.3.1　修改配置文件　36 2.3.2　克隆虛擬機　41 2.3.3　配置SSH免密碼登錄　43 2.3.4　配置時間同步服務　44 2.3.5　啟動關閉集群　46 2.3.6　監(jiān)控集群　47 小結　50 實訓　50 實訓1　為Hadoop集群增加一個節(jié)點　50 實訓2　編寫Shell腳本同步集群時間　51 課后練習　51 第3章　Hadoop基礎操作　53 任務3.1　查看Hadoop集群的基本信息　54 3.1.1　查詢集群的存儲系統(tǒng)信息　55 3.1.2　查詢集群的計算資源信息　58 任務3.2　上傳文件到HDFS目錄　59 3.2.1　了解HDFS文件系統(tǒng)　59 3.2.2　掌握HDFS的基本操作　62 3.2.3　任務實現(xiàn)　65 任務3.3　運行MapReduce任務　67 3.3.1　了解Hadoop官方的示例程序包　67 3.3.2　提交MapReduce任務給集群運行　68 任務3.4　管理多個MapReduce任務　71 3.4.1　查詢MapReduce任務　72 3.4.2　中斷MapReduce任務　74 小結　76 實訓　77 實訓1　統(tǒng)計文件中所有單詞的平均長度　77 實訓2　查詢與中斷MapReduce任務　77 課后練習　78 第4章　MapReduce編程入門　80 任務4.1　使用Eclipse創(chuàng)建MapReduce工程　81 4.1.1　下載與安裝Eclipse　81 4.1.2　配置MapReduce環(huán)境　82 4.1.3　新建MapReduce工程　84 任務4.2　通過源碼初識MapReduce編程　86 4.2.1　通俗理解MapReduce原理　86 4.2.2　了解MR實現(xiàn)詞頻統(tǒng)計的執(zhí)行流程　88 4.2.3　讀懂官方提供的WordCount源碼　89 任務4.3　編程實現(xiàn)按日期統(tǒng)計訪問次數(shù)　94 4.3.1　分析思路與處理邏輯　94 4.3.2　編寫核心模塊代碼　95 4.3.3　任務實現(xiàn)　97 任務4.4　編程實現(xiàn)按訪問次數(shù)排序　99 4.4.1　分析思路與處理邏輯　99 4.4.2　編寫核心模塊代碼　100 4.4.3　任務實現(xiàn)　102 小結　104 實訓　104 實訓1　獲取成績表的高分記錄　104 實訓2　對兩個文件中的數(shù)據(jù)進行合并與去重　105 課后練習　107 第5章　MapReduce進階編程　110 任務5.1　篩選日志文件并生成序列化文件　111 5.1.1　MapReduce輸入格式　111 5.1.2　MapReduce輸出格式　113 5.1.3　任務實現(xiàn)　113 任務5.2　Hadoop Java API讀取序列化日志文件　115 5.2.1　FileSystem API管理文件夾　115 5.2.2　FileSystem API操作文件　119 5.2.3　FileSystem API讀寫數(shù)據(jù)　121 5.2.4　任務實現(xiàn)　123 任務5.3　優(yōu)化日志文件統(tǒng)計程序　124 5.3.1　自定義鍵值類型　124 5.3.2　初步探索Combiner　128 5.3.3　淺析Partitioner　130 5.3.4　自定義計數(shù)器　132 5.3.5　任務實現(xiàn)　134 任務5.4　Eclipse提交日志文件統(tǒng)計程序　137 5.4.1　傳遞參數(shù)　137 5.4.2　Hadoop輔助類ToolRunner　139 5.4.3　Eclipse自動打包并提交任務　140 小結　144 實訓　144 實訓1　統(tǒng)計全球每年的高氣溫和低氣溫　144 實訓2　篩選氣溫在15～25℃之間的數(shù)據(jù)　145 課后練習　146 第6章　項目案例：電影網(wǎng)站用戶性別預測　151 任務6.1　認識KNN算法　152 6.1.1　KNN算法簡介　152 6.1.2　KNN算法原理及流程　152 任務6.2　數(shù)據(jù)預處理　154 6.2.1　獲取數(shù)據(jù)　154 6.2.2　數(shù)據(jù)變換　155 6.2.3　數(shù)據(jù)清洗　160 6.2.4　劃分數(shù)據(jù)集　163 任務6.3　實現(xiàn)用戶性別分類　167 6.3.1　實現(xiàn)思路　167 6.3.2　代碼實現(xiàn)　169 任務6.4　評價分類結果的準確性　179 6.4.1　評價思路　179 6.4.2　實現(xiàn)分類評價　180 6.4.3　尋找優(yōu)K值　184 小結　188 參考文獻　189