本書(shū)介紹了數(shù)據(jù)網(wǎng)格——一種來(lái)自現(xiàn)代分布式架構(gòu)的去中心化社會(huì)技術(shù)范式,它提供了一種大規(guī)模采購(gòu)、共享、訪(fǎng)問(wèn)和管理分析型數(shù)據(jù)的新方法。
本書(shū)分為五部分。
第1部分介紹Data Mesh的四個(gè)原則,以及它們所組成的高級(jí)模型。
第2部分比較Data Mesh與以前的數(shù)據(jù)架構(gòu)的區(qū)別。
第3部分介紹Data Mesh組件的高層次架構(gòu),幫助你設(shè)計(jì)Data Mesh架構(gòu)以及評(píng)估與Data Mesh匹配的現(xiàn)成技術(shù)。
第4部分介紹Data Mesh中的一個(gè)核心概念(數(shù)據(jù)產(chǎn)品)的詳細(xì)設(shè)計(jì),幫助你識(shí)別與Data Mesh愿景兼容的設(shè)計(jì)技術(shù),并將它們與不兼容的技術(shù)區(qū)分開(kāi)來(lái)。
第5部分介紹如何演進(jìn)式地執(zhí)行Data Mesh的轉(zhuǎn)換,以及如何圍繞團(tuán)隊(duì)結(jié)構(gòu)、激勵(lì)、文化等做出組織設(shè)計(jì)決策的可行建議。
適讀人群 :數(shù)據(jù)分析從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者 我們正處于數(shù)據(jù)時(shí)代的拐點(diǎn),當(dāng)下的數(shù)據(jù)管理解決方案很難在應(yīng)對(duì)組織的復(fù)雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時(shí),通過(guò)AI和分析從數(shù)據(jù)中獲取價(jià)值。本書(shū)從實(shí)踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會(huì)技術(shù)范式,提供了一種大規(guī)模獲取、共享、訪(fǎng)問(wèn)和管理分析型數(shù)據(jù)的新方法。
本書(shū)將帶領(lǐng)數(shù)據(jù)領(lǐng)域從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者,以大數(shù)據(jù)架構(gòu)為起點(diǎn),逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領(lǐng)域視為首要關(guān)注點(diǎn),應(yīng)用平臺(tái)思維創(chuàng)建自助數(shù)據(jù)基礎(chǔ)設(shè)施,并引入數(shù)據(jù)治理的聯(lián)合計(jì)算模型。
學(xué)完本書(shū),你將能夠:
全面了解Data Mesh的原則及其具體內(nèi)容。
設(shè)計(jì)Data Mesh架構(gòu)。
指導(dǎo)Data Mesh策略和執(zhí)行。
從組織設(shè)計(jì)轉(zhuǎn)向去中心化的數(shù)據(jù)所有權(quán)模型。
超越傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
我們正處于數(shù)據(jù)時(shí)代的拐點(diǎn),當(dāng)下的數(shù)據(jù)管理解決方案很難在應(yīng)對(duì)組織的復(fù)雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時(shí),通過(guò)AI和分析從數(shù)據(jù)中獲取價(jià)值。本書(shū)從實(shí)踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會(huì)技術(shù)范式,提供了一種大規(guī)模獲取、共享、訪(fǎng)問(wèn)和管理分析型數(shù)據(jù)的新方法。
本書(shū)將帶領(lǐng)數(shù)據(jù)領(lǐng)域從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者,以大數(shù)據(jù)架構(gòu)為起點(diǎn),逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領(lǐng)域視為首要關(guān)注點(diǎn),應(yīng)用平臺(tái)思維創(chuàng)建自助數(shù)據(jù)基礎(chǔ)設(shè)施,并引入數(shù)據(jù)治理的聯(lián)邦計(jì)算模型。
學(xué)完本書(shū),你將能夠:
*全面了解Data Mesh的原則及其具體內(nèi)容。
*設(shè)計(jì)Data Mesh架構(gòu)。
*指導(dǎo)Data Mesh戰(zhàn)略和執(zhí)行。
*從組織設(shè)計(jì)轉(zhuǎn)向去中心化的數(shù)據(jù)所有權(quán)模型。
*超越傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
Nile Platform 聯(lián)合創(chuàng)始人兼CPO,Kafka: The Definitive Guide一書(shū)的作者
Zhamak Dehghani是Thoughtworks的技術(shù)總監(jiān)。她專(zhuān)注于企業(yè)中的分布式系統(tǒng)和數(shù)據(jù)架構(gòu)領(lǐng)域,是多個(gè)技術(shù)咨詢(xún)委員會(huì)的成員,包括Thoughtworks的技術(shù)委員會(huì)。
Zhamak倡導(dǎo)一切事物的去中心化,包括架構(gòu)、數(shù)據(jù)等。她是Data Mesh的創(chuàng)始人。
引言 想象Data Mesh9
第一部分 什么是Data Mesh
第1章 Data Mesh概述23
1.1 成果23
1.2 轉(zhuǎn)變24
1.3 原則25
1.4 原則之間的相互作用28
1.5 Data Mesh概覽29
1.6 數(shù)據(jù)29
1.7 起源31
第2章 領(lǐng)域所有權(quán)原則33
2.1 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)簡(jiǎn)介34
2.2 把DDD戰(zhàn)略應(yīng)用到數(shù)據(jù)35
2.3 領(lǐng)域數(shù)據(jù)類(lèi)型37
2.4 過(guò)渡到領(lǐng)域所有權(quán)40
2.5 回顧43
第3章 數(shù)據(jù)即產(chǎn)品原則45
3.1 把產(chǎn)品思維應(yīng)用到數(shù)據(jù)中46
3.2 過(guò)渡到數(shù)據(jù)即產(chǎn)品56
3.3 回顧59
第4章 自助數(shù)據(jù)平臺(tái)原則60
4.1 Data Mesh平臺(tái):比較和對(duì)比61
4.2 Data Mesh平臺(tái)思維66
4.3 過(guò)渡到自助Data Mesh平臺(tái)72
4.4 回顧75
第5章 聯(lián)邦計(jì)算治理原則76
5.1 把系統(tǒng)思考應(yīng)用到Data Mesh治理78
5.2 把聯(lián)邦應(yīng)用到治理模型83
5.3 把計(jì)算應(yīng)用到治理模型89
5.4 過(guò)渡到聯(lián)邦計(jì)算治理92
5.5 回顧94
第二部分 為什么需要Data Mesh
第6章 拐點(diǎn)99
6.1 數(shù)據(jù)的遠(yuǎn)大期望100
6.2 數(shù)據(jù)的巨大鴻溝102
6.3 規(guī);盒碌脑庥103
6.4 超越秩序104
6.5 到達(dá)回報(bào)的平臺(tái)期104
6.6 回顧105
第7章 拐點(diǎn)之后107
7.1 在復(fù)雜的業(yè)務(wù)中優(yōu)雅地應(yīng)對(duì)變化108
7.2 在增長(zhǎng)的同時(shí)保持敏捷性112
7.3 提高數(shù)據(jù)對(duì)投資的價(jià)值比率115
7.4 回顧116
第8章 拐點(diǎn)之前119
8.1 分析型數(shù)據(jù)架構(gòu)的演進(jìn)119
8.2 分析型數(shù)據(jù)架構(gòu)的特征123
8.3 回顧131
第三部分 如何設(shè)計(jì)Data Mesh架構(gòu)
第9章 邏輯架構(gòu)135
9.1 面向領(lǐng)域的分析型數(shù)據(jù)共享接口138
9.2 數(shù)據(jù)產(chǎn)品即架構(gòu)量子140
9.3 多平面數(shù)據(jù)平臺(tái)148
9.4 嵌入式計(jì)算策略151
9.5 回顧154
第10章 多平面數(shù)據(jù)平臺(tái)架構(gòu)157
10.1 設(shè)計(jì)一個(gè)由用戶(hù)旅程驅(qū)動(dòng)的平臺(tái)159
10.2 數(shù)據(jù)產(chǎn)品開(kāi)發(fā)者之旅160
10.3 數(shù)據(jù)產(chǎn)品消費(fèi)者之旅168
10.4 回顧172
第四部分 如何設(shè)計(jì)數(shù)據(jù)產(chǎn)品架構(gòu)
第11章 按可供性設(shè)計(jì)數(shù)據(jù)產(chǎn)品175
11.1 數(shù)據(jù)產(chǎn)品可供性176
11.2 數(shù)據(jù)產(chǎn)品架構(gòu)特征178
11.3 受復(fù)雜適應(yīng)性系統(tǒng)的簡(jiǎn)單性影響的設(shè)計(jì)179
11.4 回顧181
第12章 設(shè)計(jì)數(shù)據(jù)的消費(fèi)、轉(zhuǎn)換和服務(wù)182
12.1 提供數(shù)據(jù)182
12.2 消費(fèi)數(shù)據(jù)195
12.3 轉(zhuǎn)換數(shù)據(jù)202
12.4 回顧206
第13章 設(shè)計(jì)數(shù)據(jù)的發(fā)現(xiàn)、理解和組合207
13.1 發(fā)現(xiàn),理解,信任,探索207
13.2 組合數(shù)據(jù)215
13.3 回顧224
第14章 設(shè)計(jì)數(shù)據(jù)的管理、治理和觀測(cè)225
14.1 管理生命周期225
14.2 治理數(shù)據(jù)227
14.3 觀測(cè),調(diào)試,審計(jì)231
14.4 回顧234
第五部分 如何開(kāi)始
第15章 戰(zhàn)略和執(zhí)行239
15.1 今天你應(yīng)該采用Data Mesh嗎239
15.2 Data Mesh作為數(shù)據(jù)戰(zhàn)略的一部分242
15.3 Data Mesh執(zhí)行框架245
15.4 回顧264
第16章 組織與文化265
16.1 變革267
16.2 文化268
16.3 獎(jiǎng)勵(lì)271
16.4 結(jié)構(gòu)273
16.5 人員283
16.6 流程287
16.7 回顧289