亚洲va在线va天堂xxxx中文,国产一区日韩二区欧美三区,国产成人无码3000部

《數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》深入探討數(shù)據(jù)資產(chǎn)管理的核心技術(shù)與應(yīng)用，融入作者在大數(shù)據(jù)領(lǐng)域多年的豐富經(jīng)驗(yàn)�！稊�(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》為讀者提供一套可以落地的數(shù)據(jù)資產(chǎn)管理框架，并詳解兩個(gè)基于該框架進(jìn)行數(shù)據(jù)資產(chǎn)管理的應(yīng)用案例，使讀者能更好地了解數(shù)據(jù)資產(chǎn)管理底層所涉及的眾多核心技術(shù)，讓數(shù)據(jù)可以發(fā)揮出更大的價(jià)值�！稊�(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》配套PPT課件、示例源代碼、作者微信群答疑服務(wù)。全書共分10章，第1章主要讓讀者認(rèn)識(shí)數(shù)據(jù)資產(chǎn)，了解數(shù)據(jù)資產(chǎn)相關(guān)的基礎(chǔ)概念，以及數(shù)據(jù)資產(chǎn)的發(fā)展情況。第2～8章主要介紹大數(shù)據(jù)時(shí)代數(shù)據(jù)資產(chǎn)管理所涉及的核心技術(shù)，內(nèi)容包括元數(shù)據(jù)的采集與存儲(chǔ)、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)監(jiān)控與告警、數(shù)據(jù)服務(wù)、數(shù)據(jù)權(quán)限與安全、數(shù)據(jù)資產(chǎn)管理架構(gòu)等。第9～10章主要從實(shí)戰(zhàn)的角度介紹數(shù)據(jù)資產(chǎn)管理技術(shù)的應(yīng)用實(shí)踐，包括如何對(duì)元數(shù)據(jù)進(jìn)行管理以發(fā)揮出數(shù)據(jù)資產(chǎn)的更大潛力，以及如何對(duì)數(shù)據(jù)進(jìn)行建模以挖掘出數(shù)據(jù)中更大的價(jià)值。
《數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》適合數(shù)據(jù)資產(chǎn)管理者、數(shù)據(jù)資產(chǎn)管理初學(xué)者、數(shù)據(jù)應(yīng)用開發(fā)工程師、數(shù)據(jù)分析師、數(shù)據(jù)庫(kù)管理員、架構(gòu)師、產(chǎn)品經(jīng)理、技術(shù)經(jīng)理作為技術(shù)參考書，也適合高等院�；蚋呗毟邔�(shù)據(jù)資產(chǎn)管理相關(guān)課程的教學(xué)參考書。

隨著互聯(lián)網(wǎng)技術(shù)的穩(wěn)步發(fā)展以及人工智能時(shí)代的到來，我們已經(jīng)邁入了一個(gè)數(shù)據(jù)激增的時(shí)代。每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)的格式和種類也在不斷增加。與此同時(shí)，大數(shù)據(jù)技術(shù)和架構(gòu)也在不斷變革。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)無法滿足海量數(shù)據(jù)的存儲(chǔ)和分析需求，于是出現(xiàn)了數(shù)據(jù)湖以及湖倉(cāng)一體的新型大數(shù)據(jù)技術(shù)架構(gòu)。由此可以看到，隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)存儲(chǔ)和分析會(huì)變得越來越復(fù)雜，海量數(shù)據(jù)的管理也會(huì)變得越來越重要。同時(shí)，隨著人工智能技術(shù)越來越成熟，海量數(shù)據(jù)可以更好地服務(wù)于人工智能的模型訓(xùn)練，讓人工智能變得更加準(zhǔn)確。
本書從技術(shù)與應(yīng)用兩個(gè)角度講述了如何管理數(shù)據(jù)資產(chǎn)、解決數(shù)據(jù)資產(chǎn)管理中面臨的諸多技術(shù)痛點(diǎn)，從而讓數(shù)據(jù)終端用戶或者數(shù)據(jù)分析師等能快速找到自己想要的數(shù)據(jù)，讓數(shù)據(jù)可以發(fā)揮出更大的價(jià)值。
關(guān)于本書
本書聚焦數(shù)據(jù)資產(chǎn)管理的核心技術(shù)與應(yīng)用，作者分享了多年大數(shù)據(jù)工作中積累的相關(guān)技術(shù)與經(jīng)驗(yàn)，旨在為讀者提供一套可以落地的數(shù)據(jù)資產(chǎn)管理框架，基于該框架進(jìn)行數(shù)據(jù)資產(chǎn)管理實(shí)踐，讓讀者能更好地學(xué)習(xí)和理解數(shù)據(jù)資產(chǎn)管理底層所涉及的眾多核心技術(shù)。
本書內(nèi)容可以分為如下三個(gè)部分來理解：
（1）第1章，主要讓讀者認(rèn)識(shí)數(shù)據(jù)資產(chǎn)，了解數(shù)據(jù)資產(chǎn)相關(guān)的基礎(chǔ)概念及其發(fā)展情況。
（2）第2~8章，主要介紹大數(shù)據(jù)時(shí)代數(shù)據(jù)資產(chǎn)管理包含的核心技術(shù)，內(nèi)容包括元數(shù)據(jù)的采集與存儲(chǔ)、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)監(jiān)控與告警、數(shù)據(jù)服務(wù)、數(shù)據(jù)權(quán)限與安全、數(shù)據(jù)資產(chǎn)管理架構(gòu)等，全面介紹數(shù)據(jù)資產(chǎn)管理底層所涉及的核心技術(shù)。
（3）第9~10章，主要從實(shí)戰(zhàn)的角度介紹數(shù)據(jù)資產(chǎn)管理的應(yīng)用實(shí)踐，包括如何對(duì)元數(shù)據(jù)進(jìn)行管理以發(fā)揮出數(shù)據(jù)資產(chǎn)的更大潛力，以及如何對(duì)數(shù)據(jù)進(jìn)行建模以挖掘出數(shù)據(jù)中更大的價(jià)值。
配套資源下載
本書配套PPT課件、示例源代碼、作者微信群答疑服務(wù)，需要讀者用自己的微信掃描下方的二維碼下載。如果在學(xué)習(xí)本書的過程中發(fā)現(xiàn)問題或有疑問，可發(fā)送郵件至booksaga@163.com，郵件主題寫上數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用。

本書作者
本書第1章由張永清和王函共同寫作，第2~3章由張永清寫作，第4章由蔣彪和張永清共同寫作，第5~8章由張永清寫作，第9~10章由趙偉寫作。
鳴謝
感謝清華大學(xué)出版社的編輯們對(duì)本書的出版所做出的貢獻(xiàn)。
感謝福特中國(guó)新能源技術(shù)、數(shù)字化及整車硬件研發(fā)執(zhí)行總監(jiān)陳兵為本書寫推薦序。
感謝白鯨開源聯(lián)合創(chuàng)始人、Apache基金會(huì)正式成員、Apache孵化器導(dǎo)師、Apache DolphinScheduler PMC Chair、Apache SeaTunnel PMC、ApacheCon亞洲大數(shù)據(jù)湖倉(cāng)論壇出品人、中國(guó)開源先鋒、中國(guó)科協(xié)2023開源創(chuàng)新榜優(yōu)秀人物代立冬為本書寫推薦序。
感謝Databricks高級(jí)架構(gòu)師吳舒對(duì)本書的技術(shù)指導(dǎo)。
感謝福特中國(guó)數(shù)字化高級(jí)經(jīng)理周揚(yáng)對(duì)本書的特別點(diǎn)評(píng)和支持。
感謝部門同事以及身邊的眾多朋友對(duì)本書的支持。
感謝江蘇省交通通信信息中心朱雷雷為本書寫推薦序。
由于作者水平和時(shí)間的限制，書中難免存在疏漏之處，還望見諒并幫忙指正，也懇請(qǐng)讀者提出更多寶貴的意見和建議。

張永清于南京
2024年5月

第 1 章認(rèn)識(shí)數(shù)據(jù)資產(chǎn) 1
1.1 數(shù)據(jù)資產(chǎn)的基本介紹 1
1.2 數(shù)據(jù)資產(chǎn)的分類 4
1.3 數(shù)據(jù)資產(chǎn)的價(jià)值評(píng)估 5
1.4 數(shù)據(jù)資產(chǎn)的質(zhì)量 6
1.5 數(shù)據(jù)資產(chǎn)的存儲(chǔ) 6
1.6 數(shù)據(jù)資產(chǎn)管理 9
1.7 數(shù)據(jù)資產(chǎn)管理的信息化建設(shè) 11
1.8 數(shù)據(jù)資產(chǎn)與人工智能 11
第 2 章元數(shù)據(jù)的采集與存儲(chǔ) 13
2.1 Hive中的元數(shù)據(jù)采集 14
2.1.1 基于Hive Meta DB的元數(shù)據(jù)采集 14
2.1.2 基于Hive Catalog的元數(shù)據(jù)采集 18
2.1.3 基于Spark Catalog的元數(shù)據(jù)采集 21
2.2 Delta Lake中的元數(shù)據(jù)采集 29
2.2.1 基于Delta Lake自身設(shè)計(jì)來采集元數(shù)據(jù) 31
2.2.2 基于Spark Catalog來采集元數(shù)據(jù) 32
2.3 MySQL中的元數(shù)據(jù)采集 34
2.4 Apache Hudi中的元數(shù)據(jù)采集 41
2.4.1 基于Spark Catalog采集元數(shù)據(jù) 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元數(shù)據(jù) 47
2.5 Apache Iceberg中的元數(shù)據(jù)采集 49
2.5.1 Iceberg的元數(shù)據(jù)設(shè)計(jì) 50
2.5.2 Iceberg元數(shù)據(jù)的采集 54
2.6 元數(shù)據(jù)的存儲(chǔ)模型設(shè)計(jì) 56
2.6.1 如何對(duì)元數(shù)據(jù)進(jìn)行整合 56
2.6.2 元數(shù)據(jù)的存儲(chǔ)模型設(shè)計(jì) 57
第 3 章數(shù)據(jù)血緣 59
3.1 獲取數(shù)據(jù)血緣的技術(shù)實(shí)現(xiàn) 59
3.1.1 如何從Hive中獲取數(shù)據(jù)血緣 60
3.1.2 從Spark執(zhí)行計(jì)劃中獲取數(shù)據(jù)血緣 66
3.1.3 從Spark SQL語句中獲取數(shù)據(jù)血緣 82
3.1.4 從Flink中獲取數(shù)據(jù)血緣 91
3.1.5 從數(shù)據(jù)任務(wù)的編排系統(tǒng)中獲取數(shù)據(jù)血緣 92
3.2 數(shù)據(jù)血緣的存儲(chǔ)模型與展示設(shè)計(jì) 94
第 4 章數(shù)據(jù)質(zhì)量的技術(shù)實(shí)現(xiàn) 98
4.1 質(zhì)量數(shù)據(jù)采集的技術(shù)實(shí)現(xiàn) 100
4.1.1 定義數(shù)據(jù)采集的規(guī)則 100
4.1.2 定時(shí)Job的技術(shù)選型 103
4.2 如何處理采集到的質(zhì)量數(shù)據(jù) 109
4.3 質(zhì)量數(shù)據(jù)的存儲(chǔ)模型設(shè)計(jì) 110
4.4 常見的開源數(shù)據(jù)質(zhì)量管理平臺(tái) 112
4.4.1 Apache Griffin 112
4.4.2 Qualitis 113
第 5 章數(shù)據(jù)監(jiān)控與告警 116
5.1 數(shù)據(jù)監(jiān)控 116
5.1.1 數(shù)據(jù)監(jiān)控的種類 116
5.1.2 監(jiān)控?cái)?shù)據(jù)的特點(diǎn)與存儲(chǔ)方式 117
5.2 常見的數(shù)據(jù)監(jiān)控目標(biāo) 118
5.2.1 數(shù)據(jù)鏈路監(jiān)控 118
5.2.2 數(shù)據(jù)任務(wù)監(jiān)控 124
5.2.3 數(shù)據(jù)質(zhì)量監(jiān)控 125
5.2.4 數(shù)據(jù)服務(wù)監(jiān)控 125
5.2.5 數(shù)據(jù)處理資源監(jiān)控 126
5.3 Prometheus簡(jiǎn)介 128
5.4 Grafana簡(jiǎn)介 135
5.5 使用Grafana和Prometheus來實(shí)現(xiàn)數(shù)據(jù)監(jiān)控與告警 138
5.5.1 數(shù)據(jù)鏈路的告警實(shí)現(xiàn) 138
5.5.2 數(shù)據(jù)任務(wù)的告警實(shí)現(xiàn) 141
5.5.3 數(shù)據(jù)質(zhì)量的告警實(shí)現(xiàn) 142
5.5.4 數(shù)據(jù)服務(wù)的告警實(shí)現(xiàn) 142
5.5.5 數(shù)據(jù)處理資源的告警實(shí)現(xiàn) 143
第 6 章數(shù)據(jù)服務(wù) 146
6.1 如何設(shè)計(jì)數(shù)據(jù)服務(wù) 146
6.1.1 數(shù)據(jù)源管理 148
6.1.2 數(shù)據(jù)服務(wù)的敏捷化和可配置化 148
6.1.3 數(shù)據(jù)服務(wù)文檔的自動(dòng)生成 151
6.1.4 數(shù)據(jù)服務(wù)的統(tǒng)一認(rèn)證與鑒權(quán) 151
6.1.5 數(shù)據(jù)服務(wù)的監(jiān)控與告警 153
6.2 數(shù)據(jù)服務(wù)的性能 155
6.3 數(shù)據(jù)服務(wù)的熔斷與降級(jí) 159
第 7 章數(shù)據(jù)權(quán)限與安全 163
7.1 常見的權(quán)限設(shè)計(jì)模式 163
7.1.1 基于角色的訪問控制 164
7.1.2 基于屬性的訪問控制 165
7.1.3 基于對(duì)象的訪問控制 165
7.2 數(shù)據(jù)權(quán)限 166
7.2.1 列權(quán)限控制 167
7.2.2 行權(quán)限控制 170
7.3 數(shù)據(jù)脫敏 171
7.4 數(shù)據(jù)安全 174
第 8 章數(shù)據(jù)資產(chǎn)架構(gòu) 176
8.1 數(shù)據(jù)資產(chǎn)的架構(gòu)設(shè)計(jì) 177
8.1.1 數(shù)據(jù)獲取層 177
8.1.2 數(shù)據(jù)處理層 178
8.1.3 數(shù)據(jù)存儲(chǔ)層 180
8.1.4 數(shù)據(jù)管理層 182
8.1.5 數(shù)據(jù)分析層 182
8.1.6 數(shù)據(jù)服務(wù)層 183
8.2 常見的開源數(shù)據(jù)資產(chǎn)管理平臺(tái) 185
8.2.1 Apache Atlas 185
8.2.2 Data Hub 186
8.2.3 OpenMetadata 189
第 9 章元數(shù)據(jù)管理實(shí)踐 193
9.1 如何理解元數(shù)據(jù) 194
9.1.1 為何需要元數(shù)據(jù) 194
9.1.2 如何讓元數(shù)據(jù)產(chǎn)生更大價(jià)值 195
9.1.3 元數(shù)據(jù)分類及其好處 196
9.1.4 元數(shù)據(jù)管理 198
9.1.5 參與角色 201
9.2 元數(shù)據(jù)管理 202
9.2.1 元數(shù)據(jù)模型的組織關(guān)系 202
9.2.2 元數(shù)據(jù)的采集 204
9.2.3 業(yè)務(wù)域設(shè)計(jì) 205
9.2.4 業(yè)務(wù)術(shù)語設(shè)計(jì) 209
9.2.5 元數(shù)據(jù)標(biāo)簽設(shè)計(jì) 212
9.2.6 數(shù)據(jù)Owner 214
9.2.7 數(shù)據(jù)生命周期 215
9.2.8 元數(shù)據(jù)注冊(cè)和發(fā)布 216
9.2.9 核心功能介紹 218
第 10 章數(shù)據(jù)建模實(shí)踐 224
10.1 什么是數(shù)據(jù)建模 224
10.1.1 數(shù)據(jù)模型分類 224
10.1.2 數(shù)據(jù)建模方法 227
10.2 數(shù)據(jù)倉(cāng)庫(kù)建模架構(gòu) 229
10.3 關(guān)系型數(shù)據(jù)建模 231
10.3.1 概念模型階段 231
10.3.2 邏輯模型階段 235
10.3.3 物理模型階段 238
10.4 維度建模 240
10.4.1 基本概念 240
10.4.2 維度表設(shè)計(jì) 246
10.4.3 事實(shí)表分類 250
10.4.4 基于維度建模的數(shù)據(jù)分析實(shí)踐 251
參考文獻(xiàn) 253

你還可能感興趣

我要評(píng)論