大數(shù)據(jù)技術(shù)正處于快速發(fā)展之中，不斷有新的技術(shù)涌現(xiàn)，Hadoop和Spark等技術(shù)成為其中的佼佼者。在Spark流行之前，Hadoop儼然已成為大數(shù)據(jù)技術(shù)的事實標準，在企業(yè)中得到了廣泛的應(yīng)用，但其本身還存在諸多缺陷，主要的缺陷是MapReduce計算模型延遲過高，無法勝任實時、快速計算的需求，因而只適用離線批處理的應(yīng)用場景。Spark在設(shè)計上充分吸收和借鑒了MapReduce的精髓并加以改進，同時，采用了先進的DAG執(zhí)行引擎，以支持循環(huán)數(shù)據(jù)流與內(nèi)存計算，因此，在性能上比MapReduce有了大幅度的提升，迅速獲得了學(xué)界和業(yè)界的廣泛關(guān)注。作為大數(shù)據(jù)計算平臺的后起之秀，Spark在2014年打破了Hadoop保持的基準排序紀錄，此后逐漸發(fā)展成為大數(shù)據(jù)領(lǐng)域熱門的大數(shù)據(jù)計算平臺之一。
但是，Spark的短板在于無法滿足毫秒級別的企業(yè)實時數(shù)據(jù)分析需求。Spark的流計算組件Spark Streaming的核心思路是將流數(shù)據(jù)分解成一系列短小的批處理作業(yè)，每個短小的批處理作業(yè)都可以使用Spark Core進行快速處理。但是，Spark Streaming在實現(xiàn)高吞吐和容錯性的同時，卻犧牲了低延遲和實時處理能力，快只能滿足秒級的實時計算需求，無法滿足毫秒級的實時計算需求。由于Spark Streaming組件的延遲較高，快響應(yīng)時間都要在秒級，無法滿足一些需要更快響應(yīng)時間的企業(yè)應(yīng)用的需求，所以，Spark社區(qū)又推出了Structured Streaming。Structured Streaming是一種基于Spark SQL引擎構(gòu)建的、可擴展且容錯的流處理引擎。Structured Streaming包括微批處理和持續(xù)處理兩種處理模型。采用微批處理時，快響應(yīng)時間需要100ms，無法支持毫秒級別響應(yīng)。采用持續(xù)處理模型時，可以支持毫秒級別響應(yīng)，但是，只能做到至少一次一致性，無法做到精確一次一致性。
因此，市場需要一款能夠?qū)崿F(xiàn)毫秒級別響應(yīng)并且支持精確一次一致性的、高吞吐、高性能的流計算框架，而Flink是當(dāng)前能夠滿足上述要求的產(chǎn)品，它正在成為大數(shù)據(jù)領(lǐng)域流處理的標配組件。
筆者帶領(lǐng)的廈門大學(xué)計算機科學(xué)系數(shù)據(jù)庫實驗室團隊，是國內(nèi)高校較早從事大數(shù)據(jù)教學(xué)的團隊之一。在寫本書之前，我們已經(jīng)做了大量前期的相關(guān)工作。從2013年至今，已經(jīng)出版了8本大數(shù)據(jù)教材，內(nèi)容涵蓋導(dǎo)論課、入門課、進階課和實訓(xùn)課，包括《大數(shù)據(jù)導(dǎo)論(通識課版)》(用于開設(shè)全校公共選修課)、《大數(shù)據(jù)導(dǎo)論》(用于開設(shè)大數(shù)據(jù)專業(yè)導(dǎo)論課)、《大數(shù)據(jù)技術(shù)原理與應(yīng)用》(用于開設(shè)入門級大數(shù)據(jù)專業(yè)課)、《大數(shù)據(jù)基礎(chǔ)編程、實驗和案例教程》(用于開設(shè)入門級大數(shù)據(jù)專業(yè)課)、《Spark編程基礎(chǔ)(Scala版)》(用于開設(shè)進階級大數(shù)據(jù)專業(yè)課)、《Spark編程基礎(chǔ)(Python版)》(用于開設(shè)進階級大數(shù)據(jù)專業(yè)課)、《大數(shù)據(jù)實訓(xùn)案例之電影推薦系統(tǒng)(Scala版)》(用于開設(shè)大數(shù)據(jù)實訓(xùn)課程)和《大數(shù)據(jù)實訓(xùn)案例之電信用戶行為分析(Scala版)》(用于開設(shè)大數(shù)據(jù)實訓(xùn)課程)。這些教材已經(jīng)在國內(nèi)高校得到了廣泛使用，其中，《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材的銷量已經(jīng)突破了15萬冊，得到了廣大一線教師的高度認可和好評。學(xué)習(xí)Flink需要有一定的大數(shù)據(jù)基礎(chǔ)知識，因此，建議讀者在學(xué)習(xí)本書之前，先學(xué)習(xí)《大數(shù)據(jù)技術(shù)原理與應(yīng)用》。為了幫助讀者更好地學(xué)習(xí)本書，我們?yōu)榻滩呐涮捉ㄔO(shè)了高校大數(shù)據(jù)課程公共服務(wù)平臺，截至目前，平臺累計訪問量已經(jīng)突破1000萬，在全國高校形成了廣泛的影響力，并榮獲2018年廈門大學(xué)教學(xué)成果特等獎和2018年福建省教學(xué)成果二等獎。為了幫助高校教師更好地教授大數(shù)據(jù)課程，我們每年都舉辦大數(shù)據(jù)師資培訓(xùn)交流班，目前已經(jīng)累計為全國400多所高校培養(yǎng)了600余位大數(shù)據(jù)教師。上述所有工作，使筆者對于撰寫一本優(yōu)秀的Flink教材有了更深的認識和更強的信心。
本書共8章，詳細介紹了Flink的環(huán)境搭建和基礎(chǔ)編程方法。第1章介紹大數(shù)據(jù)技術(shù)，幫助讀者形成對大數(shù)據(jù)技術(shù)的總體性認識以及Flink在其中所扮演的角色；第2章介紹Scala語言基礎(chǔ)知識，為學(xué)習(xí)基于Scala語言的Flink編程奠定基礎(chǔ)；第3章介紹Flink的設(shè)計與運行原理；第4章介紹Flink環(huán)境搭建和使用方法，為開展Flink編程實踐鋪平道路；第5章介紹DataStream API，包括DataStream編程模型、窗口的劃分、時間概念、窗口計算、水位線、狀態(tài)編程；第6章介紹DataSet API，包括DataSet編程模型、數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)輸出、迭代計算和廣播變量；第7章介紹Table API&SQL，包括編程模型、Flink Table API、Flink SQL和自定義函數(shù)；第8章介紹FlinkCEP，包括Pattern API和模式的檢測等。
本書面向高校大數(shù)據(jù)、計算機、軟件工程等專業(yè)的學(xué)生，可以作為專業(yè)必修課或選修課教材。本書由林子雨和陶繼平執(zhí)筆，其中，林子雨負責(zé)書稿規(guī)劃、統(tǒng)稿、校對和在線資源創(chuàng)作，并撰寫第1、3、4、5、6、7、8章的內(nèi)容，陶繼平負責(zé)撰寫第2章的內(nèi)容。
在本書的撰寫過程中，廈門大學(xué)計算機科學(xué)系碩士研究生鄭宛玉、陳杰祥、陳紹緯、周偉敬、阮敏朝、劉官山和黃連福等做了大量輔助性工作，在此，向這些同學(xué)的辛勤工作表示衷心的感謝。同時，感謝夏小云老師在書稿校對過程中的辛勤付出。
本書官方網(wǎng)站免費提供了全部配套資源的在線瀏覽和下載，并接受錯誤反饋和發(fā)布勘誤信息。同時，F(xiàn)link作為大數(shù)據(jù)進階課程，在學(xué)習(xí)過程中會涉及大量相關(guān)的大數(shù)據(jù)基礎(chǔ)知識以及各種大數(shù)據(jù)軟件的安裝和使用方法，因此，推薦讀者訪問廈門大學(xué)數(shù)據(jù)庫實驗室建設(shè)的國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，來獲得必要的輔助學(xué)習(xí)內(nèi)容。
在本書的撰寫過程中，參考了大量網(wǎng)絡(luò)資料和相關(guān)書籍，對Flink技術(shù)進行了系統(tǒng)梳理，有選擇性地把一些重要知識納入本書。由于筆者能力有限，本書難免存在不足之處，望廣大讀者不吝賜教。

林子雨廈門大學(xué)計算機科學(xué)系數(shù)據(jù)庫實驗室2021年6月