為何寫(xiě)作本書(shū)
2017年英國(guó)《經(jīng)濟(jì)學(xué)人》雜志提出一個(gè)觀點(diǎn)：世界上最具價(jià)值的資源不再是石油，而是數(shù)據(jù)。有關(guān)數(shù)據(jù)的各種概念，如數(shù)據(jù)要素、數(shù)字經(jīng)濟(jì)、數(shù)字化轉(zhuǎn)型以及數(shù)據(jù)資產(chǎn)定價(jià)等不斷提出，對(duì)數(shù)據(jù)理論層面的探索從未停止過(guò)。各行各業(yè)乃至整個(gè)社會(huì)都對(duì)數(shù)據(jù)愈發(fā)重視，政府也提出建設(shè)“數(shù)字中國(guó)”的概念。上述種種無(wú)疑對(duì)數(shù)據(jù)從業(yè)者提出了更高的要求。
筆者工作這十幾年來(lái)始終在一線從事開(kāi)發(fā)工作，接觸過(guò)很多企業(yè)內(nèi)部的需求。筆者清楚地感受到，企業(yè)在不同時(shí)期，對(duì)于數(shù)據(jù)平臺(tái)的定位或者期待發(fā)生了很大的變化，同時(shí)企業(yè)高層對(duì)于數(shù)據(jù)的重視程度也在持續(xù)提高。同時(shí)，企業(yè)內(nèi)部關(guān)于數(shù)據(jù)平臺(tái)建設(shè)的思路或者對(duì)于從業(yè)者技能的要求也發(fā)生了巨大的變化。
筆者花了很長(zhǎng)時(shí)間去思考一些問(wèn)題，例如：數(shù)據(jù)平臺(tái)在這些年的發(fā)展過(guò)程中，有哪些內(nèi)容是始終不變的，哪些內(nèi)容變得更加重要；從業(yè)者需要掌握哪些技能才能更好地適應(yīng)新時(shí)代的發(fā)展。基于這些思考，筆者寫(xiě)了這本書(shū)，從數(shù)據(jù)架構(gòu)的角度闡述不同時(shí)期企業(yè)數(shù)據(jù)平臺(tái)的建設(shè)，期望給從業(yè)者提供一些參考。
本書(shū)主要特點(diǎn)
這是一本偏落地實(shí)踐的書(shū)。筆者會(huì)基于自己在一線工作的經(jīng)驗(yàn)，在書(shū)中詳細(xì)介紹數(shù)據(jù)架構(gòu)涉及的技術(shù)棧、技術(shù)組件以及數(shù)據(jù)架構(gòu)落地中可能遇到的問(wèn)題，并提供對(duì)應(yīng)的解決方案。
這也是一本包含必要理論的書(shū)。數(shù)據(jù)架構(gòu)涉及大量的概念，不同的概念在不同的階段可能會(huì)有不同的內(nèi)涵。所以本書(shū)會(huì)針對(duì)這些概念以及不同概念之間的因果關(guān)系、邏輯關(guān)系等進(jìn)行詳細(xì)的介紹。通過(guò)這些介紹，相信讀者可以更加深入地了解數(shù)據(jù)架構(gòu)。
本書(shū)會(huì)將書(shū)介紹的組件與書(shū)中提到的理論相結(jié)合，并一步步地帶領(lǐng)讀者搭建自己的迷你版數(shù)據(jù)平臺(tái)，以加深讀者對(duì)于數(shù)據(jù)架構(gòu)的理解。
本書(shū)讀者對(duì)象
本書(shū)是一本企業(yè)數(shù)據(jù)架構(gòu)相關(guān)的書(shū)，比較全面地介紹了企業(yè)數(shù)據(jù)架構(gòu)在企業(yè)架構(gòu)中的位置以及數(shù)據(jù)架構(gòu)的構(gòu)成等。從內(nèi)容來(lái)看，本書(shū)比較適合以下讀者閱讀：
　對(duì)數(shù)據(jù)感興趣的相關(guān)行業(yè)從業(yè)者。
　想了解企業(yè)數(shù)字化轉(zhuǎn)型內(nèi)涵的相關(guān)人員。
　期望從事數(shù)據(jù)相關(guān)工作的初學(xué)者。
　想提升自身能力的數(shù)據(jù)相關(guān)從業(yè)者。
　想拓展自己的技術(shù)領(lǐng)域的應(yīng)用開(kāi)發(fā)人員。
　正在或者將要進(jìn)行數(shù)據(jù)治理或者數(shù)據(jù)資產(chǎn)建設(shè)的相關(guān)人員。
　在建設(shè)企業(yè)數(shù)據(jù)平臺(tái)時(shí)遇到困難的一線人員。
如何閱讀本書(shū)
本書(shū)共17章，分為五部分。
第一部分為架構(gòu)基礎(chǔ)（第1章），將會(huì)總覽性地介紹企業(yè)架構(gòu)及數(shù)據(jù)架構(gòu)的內(nèi)容。
第1章主要介紹企業(yè)架構(gòu)的組成，例如業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)及應(yīng)用架構(gòu)等，從不同角度解析兩個(gè)主要企業(yè)架構(gòu)—Zachman框架及TOGAF，并對(duì)比不同組織或者機(jī)構(gòu)對(duì)于數(shù)據(jù)架構(gòu)的理解。
第二部分為數(shù)據(jù)架構(gòu)基礎(chǔ)（第2~6章），從不同方面闡述數(shù)據(jù)架構(gòu)的組成。
第2章主要介紹數(shù)據(jù)架構(gòu)的構(gòu)成，例如數(shù)據(jù)模型、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)生命周期、數(shù)據(jù)分布、常見(jiàn)數(shù)據(jù)架構(gòu)技術(shù)選型、數(shù)據(jù)調(diào)度等。如果想知道數(shù)據(jù)架構(gòu)的核心組成，建議仔細(xì)閱讀這一章。
第3章主要介紹數(shù)據(jù)架構(gòu)中數(shù)據(jù)存儲(chǔ)的發(fā)展以及不同類(lèi)型數(shù)據(jù)存儲(chǔ)的特點(diǎn)，然后分別從集中式數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)、大數(shù)據(jù)存儲(chǔ)、特定領(lǐng)域存儲(chǔ)、實(shí)時(shí)計(jì)算階段等方面進(jìn)行詳細(xì)闡述。如果對(duì)于不同類(lèi)型的數(shù)據(jù)存儲(chǔ)都非常了解的話，這一章可以選擇性閱讀。
第4章主要介紹數(shù)據(jù)存儲(chǔ)中數(shù)據(jù)調(diào)度與消息傳輸?shù)南嚓P(guān)內(nèi)容，對(duì)比了不同類(lèi)型的商業(yè)ETL軟件的區(qū)別，之后分別介紹了開(kāi)源調(diào)度平臺(tái)（Airflow）、ETL工具（DataX）、消息中間件（Kafka）的架構(gòu)及核心概念等。讀者可以根據(jù)自己對(duì)這些內(nèi)容的了解程度有選擇地閱讀這一章。
第5章主要介紹數(shù)據(jù)架構(gòu)的演進(jìn)，引出Lambda架構(gòu)和Kappa架構(gòu)，并詳細(xì)介紹這兩種架構(gòu)的組成及區(qū)別，最后簡(jiǎn)單介紹流批一體化的優(yōu)劣勢(shì)。
第6章主要介紹數(shù)據(jù)架構(gòu)落地中可能涉及的各種輔助類(lèi)應(yīng)用，例如資源管理、資源及組件監(jiān)控、應(yīng)用監(jiān)控以及日志監(jiān)控等。如果企業(yè)內(nèi)部已經(jīng)有比較成熟的解決方案，這一章可以作為拓展閱讀內(nèi)容。
第三部分為數(shù)據(jù)架構(gòu)模型實(shí)踐（第7~9章），詳細(xì)介紹了數(shù)據(jù)架構(gòu)涉及的數(shù)據(jù)模型的部分。
第7章主要介紹企業(yè)內(nèi)部數(shù)據(jù)區(qū)的劃分以及企業(yè)內(nèi)部數(shù)據(jù)的流向等內(nèi)容，包括大多數(shù)企業(yè)內(nèi)部數(shù)據(jù)區(qū)層級(jí)的劃分以及每一層級(jí)的作用，并介紹互聯(lián)網(wǎng)公司的集成型數(shù)據(jù)區(qū)分層特點(diǎn)等。
第8章主要介紹數(shù)據(jù)模型架構(gòu)的內(nèi)容，包括建模策略、建模步驟、建模方法論以及常見(jiàn)模型概述等。對(duì)于數(shù)據(jù)建模比較感興趣的讀者可以仔細(xì)閱讀這一章內(nèi)容。
第9章主要介紹維度建模的內(nèi)容，包括維度建模概述、維度建�？偩�結(jié)構(gòu)、維度詳解、緩慢變化維度、事實(shí)表詳解、事務(wù)型事實(shí)表等。對(duì)于維度建模的各種概念不是很理解的讀者可以仔細(xì)閱讀這一章內(nèi)容。
第四部分為數(shù)據(jù)資產(chǎn)管理（第10~14章），第10~12章介紹數(shù)據(jù)架構(gòu)的核心內(nèi)容，第
13章及第14章介紹企業(yè)如何開(kāi)展數(shù)據(jù)治理以及數(shù)據(jù)資產(chǎn)相關(guān)工作。
第10章主要介紹元數(shù)據(jù)管理，包括元數(shù)據(jù)的產(chǎn)生、分類(lèi)及價(jià)值等，同時(shí)介紹元數(shù)據(jù)的應(yīng)用及生命周期等，最后闡述如何構(gòu)建元數(shù)據(jù)管理體系。
第11章主要介紹數(shù)據(jù)質(zhì)量管理，主要內(nèi)容包括數(shù)據(jù)質(zhì)量的管理框架、核心維度及規(guī)則體系等，同時(shí)介紹企業(yè)如何進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估。
第12章主要介紹數(shù)據(jù)標(biāo)準(zhǔn)管理，詳細(xì)闡述了數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)涵、體系設(shè)計(jì)框架、管理流程以及面臨的挑戰(zhàn)，最后系統(tǒng)闡述數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)質(zhì)量的關(guān)系。如果想系統(tǒng)了解不同概念之間的關(guān)系，需要花點(diǎn)時(shí)間閱讀這一章內(nèi)容。
第13章主要介紹數(shù)據(jù)治理的相關(guān)內(nèi)容，就數(shù)據(jù)治理的產(chǎn)生原因、內(nèi)涵、核心準(zhǔn)則、通用流程等內(nèi)容進(jìn)行闡述，最后列舉數(shù)據(jù)治理面臨的挑戰(zhàn)以及相應(yīng)的應(yīng)對(duì)方式。推薦將要或者正在進(jìn)行數(shù)據(jù)治理的讀者仔細(xì)閱讀這一章內(nèi)容。
第14章主要介紹數(shù)據(jù)資產(chǎn)管理相關(guān)的內(nèi)容，包括數(shù)據(jù)資產(chǎn)的現(xiàn)狀以及當(dāng)前企業(yè)可以進(jìn)行的數(shù)據(jù)資產(chǎn)管理內(nèi)容，梳理數(shù)據(jù)資產(chǎn)與其他概念之間的關(guān)系，同時(shí)詳細(xì)介紹如何展開(kāi)數(shù)據(jù)資產(chǎn)目錄構(gòu)建工作。
第五部分為數(shù)據(jù)架構(gòu)實(shí)踐（第15~17章），從實(shí)踐的角度對(duì)前面的內(nèi)容進(jìn)行了介紹。
第15章主要介紹離線計(jì)算的相關(guān)實(shí)踐，并以某個(gè)具體的場(chǎng)景為例展開(kāi)介紹，包括架構(gòu)設(shè)計(jì)、軟件部署、模型設(shè)計(jì)、數(shù)據(jù)處理及離線計(jì)算數(shù)據(jù)應(yīng)用等。
第16章主要介紹實(shí)時(shí)計(jì)算的相關(guān)實(shí)踐，同樣以某個(gè)具體的場(chǎng)景為例展開(kāi)深入介紹，包括架構(gòu)設(shè)計(jì)、軟件部署、連通性配置、實(shí)時(shí)計(jì)算層等。
第17章主要結(jié)合筆者自身的理解以及在行業(yè)內(nèi)的多年觀察對(duì)數(shù)字未來(lái)進(jìn)行展望，希望可以給讀者帶來(lái)一些啟發(fā)。
由于水平有限，書(shū)中可能存在一些描述不準(zhǔn)確或者錯(cuò)誤的地方，懇請(qǐng)讀者多多包涵。同時(shí)期待本書(shū)可以對(duì)讀者的工作提供一些幫助。