本書為全國電力行業(yè)十四五規(guī)劃教材。
本書以項目任務式,培養(yǎng)學生的Hive數(shù)據(jù)倉庫實踐能力。本書共分為八個項目,主要內容包括探索Hive開發(fā)環(huán)境、探索Hive數(shù)據(jù)之林、Hive數(shù)據(jù)管理、Hive數(shù)據(jù)智能探索、員工信息管理系統(tǒng)、實現(xiàn)數(shù)據(jù)存儲與壓縮的融合、數(shù)據(jù)智能調優(yōu)、綜合實踐智慧電商數(shù)據(jù)分析平臺等。本書由學校教師與企業(yè)專家共同編寫,應用項目式、理實一體化教學、思政教學,引入企業(yè)真實項目,并包含豐富的學習資源。同時提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實際,輔以代碼實踐與指導,引領讀者更好地理解與應用Hive數(shù)據(jù)倉庫技術,快速邁進數(shù)據(jù)倉庫與數(shù)據(jù)挖掘領域。

本書以項目任務式,培養(yǎng)學生的Hive數(shù)據(jù)倉庫實踐能力。本書由學校教師與企業(yè)專家共同編寫,應用項目式、理實一體化教學、思政教學,引入企業(yè)真實項目,并包含豐富的學習資源。同時提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實際,輔以代碼實踐與指導,引領讀者更好地理解與應用Hive數(shù)據(jù)倉庫技術,快速邁進數(shù)據(jù)倉庫與數(shù)據(jù)挖掘領域。

大數(shù)據(jù)時代的到來給企業(yè)帶來了前所未有的機遇和挑戰(zhàn)。在海量數(shù)據(jù)背后,蘊藏著巨大的價值,然而,如何高效地管理、存儲和處理這些海量數(shù)據(jù)成了擺在企業(yè)面前的重要問題。中國的大數(shù)據(jù)行業(yè)正處于快速增長和廣泛應用的階段。作為全球較大的數(shù)據(jù)生產(chǎn)國家,中國擁有豐富多樣的數(shù)據(jù)資源。政府提出了互聯(lián)網(wǎng) 和數(shù)字中國戰(zhàn)略,積極推動大數(shù)據(jù)技術在各行各業(yè)的應用,推動數(shù)字經(jīng)濟的發(fā)展。與此同時,中國的大數(shù)據(jù)行業(yè)也不斷壯大,產(chǎn)業(yè)鏈日益完善,涉及數(shù)據(jù)采集、存儲、分析和應用等多個環(huán)節(jié)。Hive作為大數(shù)據(jù)領域一種重要的數(shù)據(jù)倉庫解決技術,以其強大的分布式存儲、靈活的數(shù)據(jù)查詢功能和高效的數(shù)據(jù)壓縮優(yōu)化,成為眾多企業(yè)構建數(shù)據(jù)倉庫的首選工具。本教材旨在為讀者提供一套實踐指南,幫助他們理解和應用Hive,構建高效、可靠的數(shù)據(jù)倉庫系統(tǒng)。本書是專為應用型本科和高職學生撰寫的實踐指南,內容涵蓋了Hive的核心概念和原理,從Hadoop和Hive的安裝和配置開始、Hive的各數(shù)據(jù)類型定義,到數(shù)據(jù)庫和表的操作、數(shù)據(jù)的查詢、內置函數(shù)的應用、數(shù)據(jù)各存儲格式的使用場景和壓縮、數(shù)據(jù)調優(yōu)和智慧電商數(shù)據(jù)倉庫系統(tǒng)的搭建,逐步引導學生掌握Hive的使用方法和技巧,幫助讀者構建完整的數(shù)據(jù)倉庫流程。項目一主要訓練Hadoop和Hive的環(huán)境搭建能力,共有2個任務,任務一通過Hadoop大數(shù)據(jù)開發(fā)環(huán)境搭建實踐,理解Hadoop的知識,掌握Hadoop完全分布式集群搭建;任務二通過Hive環(huán)境搭建實踐,理解數(shù)據(jù)倉庫和Hive概念,掌握根據(jù)需求進行合理Hive部署。項目二主要訓練Hive數(shù)據(jù)定義能力,有1個任務,任務通過定義不同類型數(shù)據(jù)實踐,理解基本數(shù)據(jù)類型,復雜數(shù)據(jù)類型,并掌握不同數(shù)據(jù)類型的定義。項目三主要訓練Hive數(shù)據(jù)管理能力,共有2個任務,任務一通過Hive數(shù)據(jù)庫和表操作實踐,理解HiveDDL,掌握HiveDDL數(shù)據(jù)庫增刪改查等,掌握Hive數(shù)據(jù)表的增刪改等能力;任務二通過員工信息數(shù)據(jù)的導入、導出實踐,理解HiveDML,掌握數(shù)據(jù)導入和導出的操作能力。項目四主要訓練Hive數(shù)據(jù)檢索能力,共有2個任務,任務一通過員工信息基本查詢實踐,理解和掌握Hive的運算符、常用函數(shù)、篩選條件等概念和操作;任務二通過員工信息高級查詢實踐,掌握分組、排序、Join等高級查詢能力。項目五主要訓練Hive內置函數(shù)和自定義函數(shù)應用能力,共有2個任務,任務一通過員工信息的操作實踐,理解和掌握Hive內置函數(shù)的語法和操作;任務二通過制定范圍、員工信息查詢、入職日期查詢等實踐,理解自定義函數(shù)的不同類別,掌握自定義函數(shù)的操作。 項目六主要訓練數(shù)據(jù)存儲與壓縮能力,共有3個任務,任務一通過數(shù)據(jù)壓縮實踐,理解和掌握MR的壓縮設置、Map和Reduce階段的壓縮;任務二通過不同文件存儲格式實踐,理解和掌握列式和行式存儲、TextFile格式、ORC格式、Parquet格式存儲;任務三通過存儲和壓縮結合實踐,理解和掌握ORC、Parquet存儲方式的壓縮。項目七主要訓練數(shù)據(jù)優(yōu)化能力,共有2個任務,任務一通過表的優(yōu)化實踐,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等問題,掌握空Key過濾、空Key轉換、MapJoin優(yōu)化等優(yōu)化;任務二通過MR引擎調優(yōu)實踐,理解和掌握復雜文件、小文件合并、設置Reduce、動態(tài)分區(qū)等優(yōu)化。項目八主要搭建綜合實戰(zhàn)項目智慧電商數(shù)據(jù)分析平臺,通過項目準備、項目實現(xiàn)、數(shù)據(jù)展示,使用一個完整項目,將本教材知識融會貫通,培養(yǎng)企業(yè)實際項目問題解決能力,培養(yǎng)Hive數(shù)據(jù)倉庫分層、數(shù)據(jù)轉換、數(shù)據(jù)分析、Tableau數(shù)據(jù)可視化展示能力。本書特點是學校教師與企業(yè)專家共同編寫,應用項目式、理實一體化教學、思政教學,引入企業(yè)真實項目,并包含豐富的學習資源。(1)校企共同編寫,本教材由學校教師與華為技術有限公司、慧科教育科技集團有限公司共同編寫,項目平臺及案例由華為技術有限公司、慧科教育科技集團有限公司提供。(2)三實教學,通過實際場景、實踐項目、實戰(zhàn)檢驗,將真實的企業(yè)工作模式、操作環(huán)境搬入教材,通過實踐項目來對知識點進行鞏固和加強,將零碎的知識揉合在一起,讓學生對知識有一個整體性的認識,最后進行實戰(zhàn)檢驗。(3)項目化教學,通過項目描述、任務說明、知識引入、任務實現(xiàn)、練習測驗等環(huán)節(jié)設置項目式教學,充分發(fā)掘學生的自身潛能,培養(yǎng)和提高學生的實踐動手、分析問題、解決問題及綜合能力,提升學生對知識的理解與深化。(4)理實一體化教學,按任務分析理論講解操作演示技能訓練進程實施理實一體化教學,教學過程融教學做于一體,使學生很快地從理性上升到感性,實現(xiàn)知識技能的貫通,提高了教學效率。(5)思政教學,教材通過拓展知識,舉例中國企業(yè)華為擴展Hive數(shù)據(jù)倉庫技術自主開發(fā)的軟件開發(fā)工具、組件和行業(yè)應用等,增強民族自豪感,培養(yǎng)愛國主義精神、精益求精和創(chuàng)新的工匠精神、艱苦奮斗的鉆研精神等。(6)教學資源豐富,教材提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。本書由馮明卿、袁帥、王曉燕擔任主編,李俊艷、簡艷英、趙波、段銳、王寧博擔任副主編,盧珊、唐佐俠、劉涵青、侯思悅、劉灃嘯、王楠、李亞棟、董亮參與編寫。本書由易焱華、李祺擔任主審,他們提出了許多建設性的意見和建議。在本書的編寫中,鄭州電力高等�？茖W校的其他同仁給予了熱情的支持,提出了許多寶貴的建議。同時本書還參考、引用了國內外很多專家、同行出版的圖書和相關資料,在此一并表示衷心的感謝。由于作者水平有限,加之技術發(fā)展迅速,新概念、新應用層出不窮,書中難免存在疏漏和不妥之處,如有問題可聯(lián)系郵箱510582939@qq.com,歡迎廣大同行專家、讀者不吝批評指正。

袁帥，鄭州電力高等專科學校大數(shù)據(jù)專業(yè)負責人，副教授，從教10年獲得河南省高等教育教學成果獎二等獎，全國電力職業(yè)教育教學成果獎二等獎，河南省教育信息化優(yōu)秀成果獎一等獎，河南省技術能手，河南省青年崗位能手，河南省骨干教師，發(fā)表論文10余篇，指導學生參加競賽獲得省級以上獎5余項。授課課程：數(shù)據(jù)倉庫，大數(shù)據(jù)基礎技術，Java程序設計，MySQL數(shù)據(jù)庫技術授課對象：高等職業(yè)院校學生《計算機基礎（全國計算機等級考試二級MS Office高級應用與設計精講版）》，2022年6月，在人民郵電出版社出版，書號：ISBN9887115589897《Visual Basic6程序設計：理實一體化教程》，2016年2月，在機械工業(yè)出版社出版，書號：ISBN9787111528104

前言
項目一　探索Hive開發(fā)環(huán)境
學習目標 1
項目描述 1
任務一　Hadoop認知及虛擬開發(fā)環(huán)境部署 1
一、 任務說明 1
二、 知識引入 2
三、 任務實現(xiàn) 4
四、 拓展知識 18
五、 練習測驗 18
任務二　數(shù)據(jù)倉庫Hive認知及部署 18
一、 任務說明 18
二、 知識引入 19
三、 任務實現(xiàn) 24
四、 拓展知識 34
五、 練習測驗 34
項目二　探索Hive數(shù)據(jù)之林
學習目標 36
項目描述 36
任務　Hive基本數(shù)據(jù)類型 36
一、 任務說明 36
二、 知識引入 37
三、 任務實現(xiàn) 39
四、 拓展知識 44
五、 練習測驗 44
項目三　Hive數(shù)據(jù)管理
學習目標 46
項目描述 46
任務一　定義員工信息表 47
一、 任務說明 47
二、 知識引入 47
三、 任務實現(xiàn) 56
四、 拓展知識 58
五、 練習測驗 59
任務二　員工信息數(shù)據(jù)操作 59
一、 任務說明 59
二、 知識引入 60
三、 任務實現(xiàn) 63
四、 拓展知識 65
五、 練習測驗 65
項目四　Hive數(shù)據(jù)智能探索
學習目標 67
項目描述 67
任務一　員工信息基本查詢 68
一、 任務說明 68
二、 知識引入 68
三、 任務實現(xiàn) 76
四、 練習測驗 80
任務二　員工信息高級查詢 80
一、 任務說明 80
二、 知識引入 81
三、 任務實現(xiàn) 93
四、 拓展知識 93
五、 練習測驗 94
項目五　員工信息管理系統(tǒng)
學習目標 95
項目描述 95
任務一　Hive內置函數(shù) 96
一、 任務說明 96
二、 知識引入 96
三、 任務實現(xiàn) 109
四、 練習測驗 112
任務二　Hive自定義函數(shù) 112
一、 任務說明 112
二、 知識引入 113
三、 任務實現(xiàn) 115
四、 練習測驗 117
項目六　實現(xiàn)數(shù)據(jù)存儲與壓縮的融合
學習目標 118
項目描述 118
任務一　Hadoop壓縮配置 118
一、 任務說明 118
二、 知識引入 119
三、 任務實現(xiàn) 120
四、 練習測驗 122
任務二　文件存儲格式 122
一、 任務說明 122
二、 知識引入 122
三、 任務實現(xiàn) _______125
四、 練習測驗 128
任務三　存儲和壓縮結合 129
一、 任務說明 129
二、 知識引入 129
三、 任務實現(xiàn) 130
四、 練習測驗 132
項目七　數(shù)據(jù)智能調優(yōu)
學習目標 133
項目描述 133
任務一　表的優(yōu)化 133
一、 任務說明 133
二、 知識引入 134
三、 任務實現(xiàn) 136
四、 練習測驗 141
任務二　MR引擎調優(yōu) 141
一、 任務說明 141
二、 知識引入 142
三、 任務實現(xiàn) 144
四、 練習測驗 145
項目八　綜合實踐智慧電商數(shù)據(jù)分析平臺
學習目標 147
項目描述 147
一、 項目目標 147
二、 項目實施步驟 148
任務一　項目準備 148
一、 需求分析 148
二、 數(shù)據(jù)結構 149
三、 平臺環(huán)境數(shù)據(jù)準備 151
任務二　項目實現(xiàn) 153
一、 總體運營指標 153
二、 流量類指標 159
三、 網(wǎng)站銷售類指標 163
四、 商品類指標 166
五、 營銷類指標 168
六、 物流類指標 170
任務三　數(shù)據(jù)展示 172
一、 可視化軟件介紹 172
二、 可視化軟件安裝 172
三、 數(shù)據(jù)展示 173