前言Apache Spark 從MPI（消息傳遞接口）到MapReduce 的過程源遠流長，使其可以寫出利用大量資源的同時分離出分布式系統(tǒng)基本細節(jié)的程序。盡管數(shù)據(jù)處理需求推動了這些框架的發(fā)展，但在某種程度上，大數(shù)據(jù)領(lǐng)域已經(jīng)與它們息息相關(guān)，其范圍由這些框架可以處理的內(nèi)容定義。Spark 最初的承諾是讓這個過程更進一步，讓編寫分布式程序感覺就像編寫常規(guī)程序一樣。Spark 的普及與Python 數(shù)據(jù)（PyData）生態(tài)系統(tǒng)的日益風(fēng)行同步發(fā)展。因此，Spark 的Python API（PySpark）在過去幾年中的流行速度明顯增長是有道理的。盡管PyData 生態(tài)系統(tǒng)最近興起了一些分布式程序的選項，但Apache Spark 仍是處理跨行業(yè)領(lǐng)域的大型數(shù)據(jù)集最受歡迎的選擇之一。歸因于PySpark 其他PyData 工具的整合，該框架可以幫助數(shù)據(jù)科學(xué)從業(yè)者顯著提高生產(chǎn)力。我們一致認為教授數(shù)據(jù)科學(xué)的最佳方式是通過示例。為此，我們整理了一本關(guān)于應(yīng)用程序的書籍，涉及大規(guī)模數(shù)據(jù)分析中最常見的算法、數(shù)據(jù)集和設(shè)計模式之間的交互。這本書并不是要從頭到尾閱讀，它看起來只是像你極力需要完成的事情，或是為了激發(fā)你開始學(xué)習(xí)的興趣。為何寫這本書Apache Spark 在2020 年經(jīng)歷了一次主要版本的升級版本30。最大的改進之一是引入了Spark 自適應(yīng)執(zhí)行優(yōu)化系統(tǒng)。此功能消除了大部分調(diào)試和優(yōu)化的復(fù)雜性。因為它在 Spark 32 及更高版本中默認打開，所以我們在書中并未提及到它，你將自然而然的獲益。生態(tài)系統(tǒng)的變化，結(jié)合Spark 最新的主要版本，使這個版本成為一個與時俱進的版本。與以前選擇Scala 版本的Advanced Analytics with Spark 不同，我們將使用Python 作為主要工具。本書將包含與更廣泛的Python 數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)相結(jié)合的最佳實踐。所有章節(jié)都已更新為使用最新版本的PySpark API，并增加了兩個新章節(jié)和對多個章節(jié)進行改寫，不會對Spark 的流處理和圖像處理庫進行介紹。隨著Spark 進入成熟和穩(wěn)定的新時代，我們希望這些變化將在未來幾年把本書作為有用的分析資料保存下來。本書的組織結(jié)構(gòu)第1 章把Spark 和PySpark 置于更廣泛的數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的背景下。之后，每章都將使用PySpark 對數(shù)據(jù)進行了獨立的分析。第2 章通過一個數(shù)據(jù)清洗實例介紹PySpark 和Python 中數(shù)據(jù)處理的基礎(chǔ)知識。接下來的幾章將深入探討如何使用Spark 進行機器學(xué)習(xí)，并在經(jīng)典應(yīng)用中應(yīng)用一些最常用的算法。剩下的幾章則是一些零散的應(yīng)用，比如通過文本中的潛在語義關(guān)系查詢維基百科、分析基因組學(xué)數(shù)據(jù)、識別相似圖像等。本書不討論PySpark 的優(yōu)點和缺點以及一些其他內(nèi)容。本書介紹了Spark 編程模型和Spark 的Python API PySpark 的基礎(chǔ)知識。不過，本書并不打算成為Spark 的參考資料或提供全面的Spark 使用指南。本書不打算成為機器學(xué)習(xí)、統(tǒng)計學(xué)或線性代數(shù)的參考資料，盡管很多章節(jié)在使用這些內(nèi)容之前都會提供一些背景知識。相反，本書將通過涵蓋整個流程來幫助讀者感受使用PySpark 對大型數(shù)據(jù)集進行復(fù)雜分析的感覺，不僅是構(gòu)建和評估模型，還包括清洗、預(yù)處理和探索數(shù)據(jù)，并注重將結(jié)果轉(zhuǎn)化為生產(chǎn)應(yīng)用程序的過程。我們相信，最好的教學(xué)方式是通過實踐。以下是本書要處理的一些任務(wù)示例：預(yù)測森林覆蓋我們使用決策樹，并利用位置和土壤類型等相關(guān)特征預(yù)測森林覆蓋類型（見第4 章）。查詢維基百科相似條目我們通過使用NLP（自然語言處理）技術(shù)識別條目之間的關(guān)系并查詢維基百科語料庫（見第6 章）。了解紐約出租車的使用情況我們通過執(zhí)行時間和地理空間分析，計算出租車的平均等待時間作為位置函數(shù)（見第7 章）。降低投資組合風(fēng)險我們使用蒙特卡羅模擬估計投資組合的財務(wù)風(fēng)險（見第9 章）。如果可能，我們不僅嘗試提供解決方案，還試圖展示完整的數(shù)據(jù)科學(xué)工作流程，包括所有的迭代（iterations）、終結(jié)點（dead ends）以及重新運行（restarts）。本書將有助于你更加熟悉Python、Spark、機器學(xué)習(xí)和數(shù)據(jù)分析。然而，這些都是為了一個更大的目標(biāo)，我們希望本書的大部分內(nèi)容將教會你如何處理前面描述的任務(wù)。每章大約有幾十頁的篇幅，將盡可能地演示如何構(gòu)建一個數(shù)據(jù)應(yīng)用程序。排版約定本書采用以下排版約定。斜體（Italic）表示新術(shù)語、URL、電子郵件地址、文件名和文件擴展名。等寬字體（Constant Width）表示程序清單，在段落內(nèi)表示程序元素，例如變量、函數(shù)名稱、數(shù)據(jù)庫、數(shù)據(jù)類型、環(huán)境變量、語句和關(guān)鍵字。粗體等寬字體（Constant width bold）表示應(yīng)由用戶原封不動輸入的命令或其他文本。斜體等寬字體（Constant width italic）表示應(yīng)該替換成用戶提供值的文本，或者由上下文決定的值。使用代碼示例補充材料（代碼示例、練習(xí)等）可以通過網(wǎng)址下載：https://githubcom/sryza/aas。與本書相關(guān)的技術(shù)問題，或者在使用代碼示例上有疑問，請發(fā)電子郵件到errata@oreillycomcn。本書的目的是幫助你完成工作。一般來說，本書提供的示例代碼，你可以在自己的程序或文檔中使用而無需聯(lián)系我們獲取許可，除非你需要復(fù)制大量代碼。例如，使用本書中的代碼片段編寫程序無需授權(quán)許可，但銷售或發(fā)行OReilly圖書中的示例則需要獲得許可。引用本書中的示例代碼回答問題無需獲得許可。但在產(chǎn)品文檔中本書中使用大量示例代碼則需要獲得許可。我們很希望但并不強制要求你在引用本書內(nèi)容時加上引用說明。引用說明一般包括書名、作者、出版社和ISBN，例如：Advanced Analytics with PySpark by Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, and Josh Wills (OReilly) Copyright 2022 Akash Tandon, 978-1-098-10365-1。如果你覺得自己對示例代碼的使用超出了上述許可范圍， 請通過permissions@oreillycom 與我們聯(lián)系。OReilly 在線學(xué)習(xí)平臺（OReilly Online Learning）近40 年來，OReilly Media 致力于提供技術(shù)和商業(yè)培訓(xùn)、知識和卓越見解，來幫助眾多公司取得成功。公司獨有的專家和改革創(chuàng)新者網(wǎng)絡(luò)通過OReilly 書籍、文章以及在線學(xué)習(xí)平臺，分享他們的專業(yè)知識和實踐經(jīng)驗。OReilly 在線學(xué)習(xí)平臺按照您的需要提供實時培訓(xùn)課程、深入學(xué)習(xí)渠道、交互式編程環(huán)境以及來自O(shè)Reilly 和其他200 多家出版商的大量書籍與視頻資料。更多信息，請訪問網(wǎng)站：https://wwworeillycom/。聯(lián)系我們?nèi)魏斡嘘P(guān)本書的意見或疑問，請按照以下地址聯(lián)系出版社。美國：OReilly Media, Inc1005 Gravenstein Highway NorthSebastopol, CA 95472中國：北京市西城區(qū)西直門南大街2 號成銘大廈C 座807 室（100035）奧萊利技術(shù)咨詢（北京）有限公司勘誤、示例和其他信息可訪問https://oreilly/adv-analytics-pyspark 獲取。對本書的評論或技術(shù)疑問，可以發(fā)電子郵件到errata@oreillycomcn。欲了解本社圖書和課程的新聞和信息，請訪問我們的網(wǎng)站http://oreillycom。我們的LinkedIn：https://linkedincom/company/oreilly-media。我們的Twitter：http://twittercom/oreillymedia。我們的YouTube：http://youtubecom/oreillymedia。致謝毫無疑問，如果沒有Apache Spark 和MLlib 的存在，就不會有本書。我們都應(yīng)該感謝構(gòu)建和它的開源團隊，以及為它添加內(nèi)容的數(shù)百名貢獻者。我們要感謝每一位花了大量時間并以專業(yè)角度審閱本書前幾版內(nèi)容的人:Michael Bernico、Adam Breindel、Ian Buss、Parviz Deyhim、Jeremy Freeman、Chris Fregly、Debashish Ghosh、Juliet Hougland、Jonathan Keebler、Nisha Muktewar、Frank Nothaft、Nick Pentreath、Kostas Sakellis、Tom White、Marcelo Vanzin 和Juliet Hougland。感謝大家! 這極大地改善了本書最終版本的結(jié)構(gòu)和質(zhì)量。Sandy 還要感謝Jordan Pinkus 和Richard Wang，感謝他們在風(fēng)險這一章的理論方面給予幫助。感謝Jeff Bleiel 和OReilly 為本書的出版提供了寶貴的經(jīng)驗和大力支持。