本書主要內容包括Kafka入門與基礎、Kafka的生產者、Kafka的消費者、深入Kafka消費者、Kafka的再均衡與分區(qū)分配、Kafka的日志與事務、Spark基礎以及Kafka與Spark的集成及應用等。本書由多名一線研發(fā)工程師聯(lián)合編寫,結構清晰、案例豐富、通俗易懂、實用性強,適合作為高等院校計算機相關專業(yè)的程序設計教材,也可作為社會培訓學校的培訓教材。
本書的每一個知識點都配有同步教學視頻,視頻和圖書完全同步,能幫助讀者快速而全面地了解每一個知識點的內容。本書還免費提供所有案例的源代碼、教學PPT、教學設計及其他資源,還有和每章內容配合使用的8套作業(yè)及難易程度不同的3套試卷,這些資源不僅能方便讀者學習,更能為讀者以后的工作提供便利。
Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺,它是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),可以處理消費者在網站中的所有動作流數(shù)據(jù)。這些動作(瀏覽網頁、搜索和其他行為)是現(xiàn)今用戶上網的常用操作,是了解人們社會行為的關鍵因素,而動作流數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決的。對于像Hadoop一樣要求實時處理數(shù)據(jù)的日志數(shù)據(jù)和離線分析系統(tǒng),Kafka是一個可行的解決方案。
本書以理論 實戰(zhàn)的方式編寫,共包含40多個實例。首先從Kafka的基本概念入手,主要從生產端、消費端、服務端三個方面進行全面闡述,內容包括Kafka入門與基礎、Kafka的生產者、Kafka的消費者、深入Kafka消費者、Kafka的再均衡與分區(qū)分配、Kafka的日志與事務、Spark基礎以及Kafka與Spark的集成及應用等。雖然Kafka的內核是使用Scala語言編寫的,但是本書基本以Java語言作為主要的示例語言,以方便絕大多數(shù)讀者的理解。
本書的每一個知識點都配有同步教學視頻,視頻和圖書完全同步,能幫助讀者快速而全面地了解每一個知識點的內容。本書還免費提供所有案例的源代碼、教學PPT、教學設計及其他資源,還有和每章內容配合使用的8套作業(yè)及難易程度不同的3套試卷,這些資源不僅能方便讀者學習,更能為讀者以后的工作提供便利。掃描書中的二維碼即可獲得上述資源。
通過閱讀本書,你將:
? 可以安裝、配置和運行Kafka;
? 可以使用Kafka生產者和消費者來生產消息和消費消息;
? 可以構建序列化器和反序列化器;
? 可以掌握Kafka的分區(qū)策略;
? 可以掌握Kafka的日志存儲方式、冪等性和事務;
? 可以掌握SparkStreaming的編程;
? 可以掌握SparkStreaming、StructStreaming與Kafka的集成方法。
本書由北京智酷道捷教育科技有限公司組織多名一線研發(fā)工程師和重慶文理學院數(shù)學與大數(shù)據(jù)學院的羅章濤老師聯(lián)合編寫。全書共8章,其中,羅章濤編寫了第1~3章(共計12萬
字),北京智酷道捷教育科技有限公司的研發(fā)工程師編寫了第4~8章(共計28萬字)。本書結構清晰、案例豐富、通俗易懂、實用性強,適合作為高等院校計算機相關專業(yè)的程序設計教材,也可作為社會培訓學校的培訓教材。
本書配套有教學課件等文檔,讀者可從中國鐵道出版社有限公司網站(http:// www.tdpress.com/51eds)下載。
由于時間有限,書中難免有疏漏及不足之后,敬請廣大讀者批評指正!
編 者
2021年11月
智酷道捷是中關村智酷雙創(chuàng)人才服務股份有限公司下屬高科技教育企業(yè)。旨在打造產、學、研、用雙創(chuàng)一體化深度融合的智能化泛IT產教綜合服務平臺。是一家專注于面向高校提供產、學、研、用一體化雙創(chuàng)實踐性教學解決方案,面向高新技術職業(yè)技能持續(xù)培育的創(chuàng)新型科技教育企業(yè)。公司專注于前沿技術基于云計算、大數(shù)據(jù)、以及智能化控制等高新技術開發(fā)的全新資源與服務平臺。公司借鑒發(fā)達國家先進的技術應用教學經驗并結合中國國情,創(chuàng)新提出雙創(chuàng)雙元、雙元雙通理論模型,通過工程實踐中心這一創(chuàng)新載體,整合高校教育與產業(yè)實踐應用,基于云平臺的大數(shù)據(jù)反饋和自適應機制,打造形成以產業(yè)應用需求為引領,以崗位技能能力圖表為核心線索的智能化課程研發(fā)體系,將產業(yè)應用需求、高校教育過程以及課程研發(fā)機制、產教協(xié)同育人進行一體化聯(lián)動和融合,實現(xiàn)雙創(chuàng)實踐性應用人才智能化、生態(tài)化、個性化、本地化培育,為地方企業(yè)和高校提供優(yōu)質的實踐性課程與人才服務。