為什么要寫本書
近些年來(lái)，流計(jì)算技術(shù)發(fā)展迅速，被廣泛應(yīng)用于數(shù)據(jù)ETL、數(shù)據(jù)BI、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)和AI等方面。Flink作為流計(jì)算領(lǐng)域的一顆璀璨的明星，自問(wèn)世以來(lái)發(fā)展迅猛，其技術(shù)生態(tài)圈也日益壯大，現(xiàn)已成為Apache開源項(xiàng)目中活躍的項(xiàng)目之一。很多企業(yè)選擇用Flink來(lái)構(gòu)建其流計(jì)算體系或流批一體體系，使用on YARN或on Kubernetes部署模式來(lái)進(jìn)行大規(guī)模生產(chǎn)。
轉(zhuǎn)眼間，我從事Flink研發(fā)工作已經(jīng)4年，其間我對(duì)Flink 的1.2、1.3、1.5、1 .8、1.9、1.11 和1.13版本源代碼進(jìn)行維護(hù)和改造，提供Flink 大規(guī)模集群生產(chǎn)支持，并在公司內(nèi)提供業(yè)務(wù)解決方案。在為業(yè)務(wù)方提供支持的過(guò)程中，我逐漸萌生寫一本剖析Flink內(nèi)部機(jī)制的書的想法，原因有二。
其一，隨著流計(jì)算的流行和應(yīng)用于大規(guī)模生產(chǎn)，公司對(duì)Flink的性能、可用性和效能等方面的要求更加迫切，因而更加需要流計(jì)算方面的人才，尤其是擁有Flink性能調(diào)優(yōu)、可用性和效能等方面經(jīng)驗(yàn)的人才。而單純查看官方文檔，對(duì)Flink機(jī)制的認(rèn)識(shí)只能流于黑盒形式。只有深入源代碼才能深刻理解Flink 的內(nèi)部機(jī)制，才能更好地進(jìn)行性能調(diào)優(yōu)，做好可用性保障和優(yōu)化，以及做好效能方面的優(yōu)化。
其二，市場(chǎng)上缺少深入剖析Flink源代碼和設(shè)計(jì)的圖書。我希望借助自己多年從事大規(guī)模生產(chǎn)以及進(jìn)行多個(gè)Flink 版本維護(hù)與改造的經(jīng)驗(yàn)，對(duì)Flink 的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行深入剖析，幫助讀者更好地了解Flink源代碼與機(jī)制。
通過(guò)了解源代碼，讀者能有以下收獲：
編寫出更健壯的流計(jì)算代碼；
更好地對(duì)流計(jì)算作業(yè)進(jìn)行調(diào)優(yōu)，使得作業(yè)性能更高；
更好地維護(hù)Flink引擎，并對(duì)Flink引擎進(jìn)行二次開發(fā)。
讀者對(duì)象
本書適合以下幾類人員閱讀：
流計(jì)算開發(fā)人員、大數(shù)據(jù)開發(fā)人員；
大數(shù)據(jù)架構(gòu)人員；
對(duì)Flink計(jì)算引擎底層感興趣的相關(guān)人員。
本書特色
基于使用方式及其背后的原理、原理背后的設(shè)計(jì)及源代碼實(shí)現(xiàn)來(lái)剖析Flink內(nèi)部機(jī)制，由淺入深。
盡量用圖來(lái)展示原理和機(jī)制，以便于讀者理解。
盡可能結(jié)合實(shí)際生產(chǎn)分析Flink 內(nèi)部機(jī)制，對(duì)讀者的實(shí)際生產(chǎn)具有指導(dǎo)意義。
講解的設(shè)計(jì)和實(shí)現(xiàn)原理有助于讀者提升架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)能力。
本書結(jié)構(gòu)與內(nèi)容
本書基于Flink 1.9版本的源代碼來(lái)解析Flink。全書共11章，主要內(nèi)容如下。
第1章　閱讀Flink源代碼前的準(zhǔn)備
主要介紹Flink源代碼閱讀環(huán)境準(zhǔn)備以及Flink的設(shè)計(jì)理念和基本架構(gòu)，包括Flink源代碼的導(dǎo)入流程和調(diào)試方式，F(xiàn)link與Hadoop MapReduce、Spark的設(shè)計(jì)差異，以及Flink的分層架構(gòu)和運(yùn)行時(shí)架構(gòu)。
第2章　編程模型與API
主要介紹Flink DataStream的算子的使用和實(shí)現(xiàn)原理。首先講解DataStream底層的轉(zhuǎn)換，接著介紹常用算子（如FlatMap、Join、Aggregation、Union），后解析窗口的設(shè)計(jì)與實(shí)現(xiàn)。
第3章　運(yùn)行時(shí)組件與通信
深入剖析運(yùn)行時(shí)組件、組件間通信及運(yùn)行時(shí)組件的高可用。首先介紹運(yùn)行時(shí)組件REST、Dispatcher、ResourceManager、JobMaster和TaskExecutor，接著介紹運(yùn)行時(shí)組件間通信的框架Akka，并以Slot申請(qǐng)為例講解運(yùn)行時(shí)組件之間的通信，后介紹運(yùn)行時(shí)組件高可用的功能、存在的問(wèn)題及其解決方案。
第4章　狀態(tài)管理與容錯(cuò)
從狀態(tài)、檢查點(diǎn)、狀態(tài)后端三個(gè)概念入手，對(duì)Flink狀態(tài)管理和容錯(cuò)的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行深度剖析。
第5章　任務(wù)提交與執(zhí)行
主要介紹Flink任務(wù)提交的整個(gè)流程，從客戶端、JobManager和TaskManager端對(duì)應(yīng)任務(wù)各個(gè)階段的轉(zhuǎn)換入手進(jìn)行深入的梳理與分析。
第6章　Flink網(wǎng)絡(luò)棧
首先介紹Flink的內(nèi)存管理機(jī)制，然后講解什么是Flink網(wǎng)絡(luò)棧以及網(wǎng)絡(luò)傳輸流程，其中涵蓋Flink的兩種背壓實(shí)現(xiàn)方式，后介紹流批一體的shuffle架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)。
第7章　Flink Connector的設(shè)計(jì)與實(shí)現(xiàn)
首先以Kafka Connector為切入點(diǎn)介紹Connector模塊設(shè)計(jì)時(shí)需要考慮的消費(fèi)、分區(qū)管理、一致性語(yǔ)義保障等關(guān)鍵問(wèn)題，然后以HBase為例介紹SQL/Table Connector的使用和實(shí)現(xiàn)原理。
第8章　部署模式
主要介紹Flink中常用的三種部署模式：Local模式、Standalone模式和第三方部署模式。首先介紹用于本地調(diào)試的Local模式、Standalone模式中Session模式的構(gòu)建與實(shí)現(xiàn)，然后介紹Flink on YARN的Session模式和Per-Job模式的設(shè)計(jì)與實(shí)現(xiàn)，后介紹Flink on Kubernetes基于YAML的實(shí)現(xiàn)。
第9章　Flink Table與SQL
主要介紹Flink Table與SQL中StreamTableEnvironment的實(shí)現(xiàn)過(guò)程、SQL的解析過(guò)程、Table Connector以及UDF和內(nèi)置算子的實(shí)現(xiàn)。
第10章　Flink CEP原理解析
主要介紹Flink CEP的基本概念和語(yǔ)法，如何使用Flink CEP編寫作業(yè)，以及 Flink CEP內(nèi)部基于NFA的實(shí)現(xiàn)原理。
第11章　Flink監(jiān)控
主要介紹Flink監(jiān)控指標(biāo)、常用系統(tǒng)指標(biāo)和監(jiān)控體系的建設(shè)，以及常用的定位手段。
勘誤與支持
由于作者的水平有限，加之寫作時(shí)間倉(cāng)促，書中難免存在不妥之處。為此，我們?cè)贕itHub上創(chuàng)建了本書專屬工程（https://github.com/streaming-olap/deep-in-flink-book）來(lái)支持在線反饋。大家如有任何意見(jiàn)或建議，歡迎在該工程下創(chuàng)建issue，我們會(huì)