數(shù)據(jù)中臺建設:從方法論到落地實戰(zhàn)
定 價:89 元
- 作者:彭勇
- 出版時間:2021/8/1
- ISBN:9787121417245
- 出 版 社:電子工業(yè)出版社
- 中圖法分類:F272.7
- 頁碼:316
- 紙張:
- 版次:01
- 開本:32開
數(shù)字化發(fā)展在各個行業(yè)落地生根。本書首先介紹了工業(yè)、智慧農(nóng)業(yè)、智慧服務業(yè)、智慧城市的數(shù)字化建設現(xiàn)狀和發(fā)展趨勢,讓讀者初步了解數(shù)字化發(fā)展。數(shù)據(jù)中臺是企業(yè)數(shù)字化建設的基礎。本書重點介紹了數(shù)據(jù)中臺的定義、整體框架和建設的方法論。該方法論主要涉及企業(yè)數(shù)字化發(fā)展戰(zhàn)略、組織架構變革、數(shù)據(jù)的存儲和建模、數(shù)據(jù)平臺的建設、數(shù)據(jù)服務框架、數(shù)據(jù)產(chǎn)品化和數(shù)據(jù)智能化建設等多個方面的內容。本書通過企業(yè)中兩個熱門場景的應用詳細介紹了數(shù)據(jù)中臺的落地實戰(zhàn)。第一個是營銷場景。企業(yè)通過營銷中臺的建設,構建了智能化營銷體系,有效地提升了數(shù)據(jù)驅動營銷的效能。第二個是風險管理場景。企業(yè)通過風險管理中臺的建設,支持事前—事中—事后的智能風險管理,大幅提升了企業(yè)風險管理的效率和能力。
彭勇,國家公派留法計算機博士,中關村管委會技術專家,中國保險學會特聘保險科技專家。彭勇從事大數(shù)據(jù)研究和應用相關工作約16年,負責大數(shù)據(jù)創(chuàng)新項目超過100個,在數(shù)據(jù)倉庫建設、數(shù)據(jù)中臺建設、保險產(chǎn)品定制和創(chuàng)新、精算定價、精準營銷、產(chǎn)品推薦、風險管理、智能理賠、人工智能、數(shù)字化轉型等方面經(jīng)驗豐富。彭勇現(xiàn)就職于全球知名保險定制平臺——保準牛,擔任首席科學家。
第1章 數(shù)字化轉型是大勢所趨 / 1
1.1 科技加速理論 / 2
1.2 各個行業(yè)積極擁抱數(shù)字化變革 / 4
1.2.1 工業(yè)4.0的數(shù)字化發(fā)展趨勢 / 4
1.2.2 智慧農(nóng)業(yè)的數(shù)字化發(fā)展趨勢 / 6
1.2.3 智慧服務業(yè)的數(shù)字化發(fā)展趨勢 / 7
1.2.4 智慧城市的數(shù)字化發(fā)展趨勢 / 11
1.2.5 小結 / 12
1.3 DT時代已來 / 13
1.3.1 DT時代和IT時代的差異 / 13
1.3.2 DT時代面臨諸多挑戰(zhàn) / 16
1.4 數(shù)據(jù)中臺呼之欲出 / 17
第2章 認知數(shù)據(jù)中臺 / 18
2.1 什么是數(shù)據(jù)中臺 / 19
2.1.1 行業(yè)對數(shù)據(jù)中臺的不同理解 / 19
2.1.2 數(shù)據(jù)中臺的定義 / 20
2.1.3 對數(shù)據(jù)中臺的詮釋 / 20
2.2 建設數(shù)據(jù)中臺的價值 / 23
2.3 數(shù)據(jù)中臺的建設目標 / 25
2.3.1 總體目標 / 25
2.3.2 數(shù)據(jù)中臺的標準化 / 27
2.3.3 數(shù)據(jù)中臺業(yè)務化 / 28
2.3.4 數(shù)據(jù)中臺平臺化 / 29
2.3.5 數(shù)據(jù)中臺服務化 / 30
2.4 數(shù)據(jù)中臺與上下游平臺的關系 / 31
2.4.1 “前臺-中臺-后臺”關系 / 31
2.4.2 數(shù)據(jù)中臺和業(yè)務中臺的關系 / 32
2.5 數(shù)據(jù)中臺建設的9大誤區(qū) / 34
2.5.1 數(shù)據(jù)中臺等同于數(shù)據(jù)工具的集合 / 34
2.5.2 數(shù)據(jù)中臺等同于數(shù)據(jù)平臺 / 35
2.5.3 企業(yè)小,不需要數(shù)據(jù)中臺 / 35
2.5.4 建設數(shù)據(jù)中臺是互聯(lián)網(wǎng)企業(yè)的事,傳統(tǒng)行業(yè)用不著 / 35
2.5.5 建設數(shù)據(jù)中臺是數(shù)據(jù)部門的工作,與其他部門
關系不大 / 36
2.5.6 數(shù)據(jù)中臺直連前臺更敏捷,沒必要建設業(yè)務中臺 / 36
2.5.7 在數(shù)據(jù)中臺成型后,不需要煙囪式的臨時技術
團隊 / 38
2.5.8 不著急建設數(shù)據(jù)中臺,等業(yè)務成熟之后再說 / 38
2.5.9 建設數(shù)據(jù)中臺可以一蹴而就 / 39
2.6 行業(yè)對數(shù)據(jù)中臺的4個認知階段 / 40
2.6.1 數(shù)據(jù)模型實現(xiàn)數(shù)據(jù)資產(chǎn)化 / 40
2.6.2 數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)高可用性 / 41
2.6.3 實現(xiàn)數(shù)據(jù)業(yè)務化和服務化 / 41
2.6.4 實現(xiàn)數(shù)據(jù)和業(yè)務智能化 / 42
2.7 數(shù)據(jù)中臺服務化發(fā)展階段 / 42
2.7.1 實現(xiàn)服務手工可配置 / 43
2.7.2 實現(xiàn)服務智能組合和自適應 / 43
2.7.3 實現(xiàn)服務的智慧生態(tài) / 44
第3章 數(shù)據(jù)中臺建設方法論 / 45
3.1 數(shù)字化戰(zhàn)略 / 46
3.1.1 數(shù)字化戰(zhàn)略的價值 / 46
3.1.2 戰(zhàn)略和執(zhí)行雙輪驅動 / 47
3.1.3 數(shù)據(jù)中臺戰(zhàn)略制定 / 51
3.2 數(shù)據(jù)中臺的整體框架 / 54
3.2.1 統(tǒng)一數(shù)據(jù)基礎設施平臺 / 56
3.2.2 數(shù)據(jù)接入和匯聚平臺 / 57
3.2.3 統(tǒng)一數(shù)據(jù)模型平臺 / 58
3.2.4 統(tǒng)一ID和標簽平臺 / 58
3.2.5 數(shù)據(jù)開發(fā)和運維平臺 / 59
3.2.6 數(shù)據(jù)智能平臺 / 59
3.2.7 數(shù)據(jù)管理平臺 / 60
3.2.8 數(shù)據(jù)服務平臺 / 62
3.3 數(shù)據(jù)中臺的8大設計準則 / 63
3.3.1 有數(shù)能用 / 64
3.3.2 讓數(shù)據(jù)可用 / 64
3.3.3 讓數(shù)據(jù)好用 / 65
3.3.4 讓數(shù)據(jù)易用 / 66
3.3.5 讓數(shù)據(jù)放心用 / 66
3.3.6 讓數(shù)據(jù)更智能 / 67
3.3.7 讓數(shù)據(jù)服務化 / 67
3.3.8 讓數(shù)據(jù)可控 / 68
3.4 數(shù)據(jù)中臺行動攻略 / 68
3.4.1 “九看”方法論 / 68
3.4.2 數(shù)據(jù)中臺MVP建設路徑 / 73
3.5 數(shù)據(jù)中臺技術選型 / 77
3.5.1 4種選型方案 / 77
3.5.2 開源解決方案 / 78
3.6 總結 / 88
第4章 統(tǒng)一數(shù)據(jù)模型:讓數(shù)據(jù)資產(chǎn)化 / 89
4.1 數(shù)據(jù)標準化體系的價值 / 90
4.1.1 數(shù)據(jù)標準化體系是數(shù)字化戰(zhàn)略的基礎 / 90
4.1.2 數(shù)據(jù)管理是事前遠見,數(shù)據(jù)治理是事后亡羊補牢 / 94
4.2 數(shù)據(jù)資產(chǎn)管理體系介紹 / 95
4.2.1 6個常用的數(shù)據(jù)資產(chǎn)管理體系 / 95
4.2.2 制定數(shù)據(jù)管理戰(zhàn)略 / 97
4.3 高效數(shù)據(jù)建模,讓數(shù)據(jù)好用起來 / 98
4.3.1 統(tǒng)一數(shù)據(jù)模型的意義 / 98
4.3.2 統(tǒng)一數(shù)據(jù)模型具體做什么 / 100
4.3.3 如何建設統(tǒng)一數(shù)據(jù)模型 / 101
4.4 對維度建模進一步探索 / 113
4.4.1 維度建模設計過程 / 114
4.4.2 維度建模示例 / 116
4.5 統(tǒng)一建模的注意事項 / 118
4.5.1 數(shù)據(jù)標準化只停留在數(shù)據(jù)部門 / 118
4.5.2 缺少元數(shù)據(jù)管理支持 / 119
4.5.3 監(jiān)控體系缺失 / 120
4.5.4 事實表的設計注意事項 / 120
4.5.5 維度爆炸 / 121
4.5.6 對維度過度退化 / 121
4.5.7 緩慢變化維 / 122
4.5.8 大表的抽取 / 123
4.6 總結 / 124
第5章 數(shù)據(jù)計算平臺:讓數(shù)據(jù)“飛”起來 / 125
5.1 計算平臺的應用場景 / 126
5.2 應用場景一:批處理 / 128
5.2.1 批處理計算引擎介紹 / 128
5.2.2 批處理計算引擎應用舉例 / 131
5.2.3 批處理計算總結 / 132
5.3 應用場景二:實時計算 / 133
5.3.1 實時計算流程介紹 / 133
5.3.2 實時計算和離線計算如何高效共存 / 134
5.3.3 實時數(shù)據(jù)倉庫 / 136
5.3.4 流式計算實時統(tǒng)計GMV示例 / 138
5.4 應用場景三:實時查詢 / 140
5.5 應用場景四:海量日志和信息檢索 / 140
5.5.1 檢索方案介紹 / 140
5.5.2 日志檢索方案示例 / 142
5.6 應用場景五:多維分析 / 145
5.6.1 多維分析方案介紹 / 145
5.6.2 基于ClickHouse實現(xiàn)多維分析示例 / 146
5.7 應用場景六:圖計算 / 148
5.7.1 圖計算框架介紹 / 148
5.7.2 圖計算應用案例——團體反欺詐 / 149
5.8 應用場景七:人工智能計算框架 / 151
5.8.1 主流的人工智能計算框架介紹 / 151
5.8.2 量子計算 / 152
5.8.3 人工智能平臺應用案例——智能客服 / 153
第6章 算法即服務:最大化實現(xiàn)數(shù)據(jù)價值 / 155
6.1 算法的價值 / 156
6.2 建模標準化流程 / 158
6.2.1 業(yè)務理解貫穿始終 / 159
6.2.2 數(shù)據(jù)準備 / 160
6.2.3 數(shù)據(jù)預處理 / 165
6.2.4 特征工程 / 168
6.2.5 模型構建 / 173
6.2.6 模型評估 / 186
6.2.7 模型部署,讓模型服務化 / 192
6.2.8 模型監(jiān)控和迭代 / 196
6.3 算法即服務應用實踐 / 196
6.3.1 保險關系網(wǎng)絡分析 / 197
6.3.2 交叉銷售 / 201
6.3.3 反欺詐示例 / 206
6.4 算法即服務須遵循的原則 / 212
6.4.1 算法即服務需要業(yè)務知識的輸入,業(yè)務理解貫穿
建模始終 / 213
6.4.2 算法不是萬能的,有適用的場景 / 213
6.4.3 要合理地平衡算法的計算性能和效果 / 213
6.4.4 要優(yōu)先選擇混合模型 / 214
6.4.5 要盡量實現(xiàn)建模全流程自動化 / 214
第7章 數(shù)據(jù)產(chǎn)品:讓數(shù)據(jù)應用更便捷 / 215
7.1 自助取數(shù)和自助分析 / 216
7.1.1 自助取數(shù)工具 / 217
7.1.2 自助分析工具 / 219
7.2 數(shù)據(jù)爬蟲 / 221
7.3 客戶畫像 / 221
7.4 標簽圈選 / 222
7.5 客戶分群 / 224
7.6 數(shù)據(jù)可視化工具 / 226
7.6.1 Matplotlib / 227
7.6.2 Pandas+Seaborn舉例 / 231
7.7 規(guī)則引擎 / 232
第8章 營銷中臺:讓營銷更精準、更及時 / 235
8.1 數(shù)字化營銷是大勢所趨 / 236
8.2 營銷體系升級 / 239
8.2.1 營銷理論的多次升級 / 239
8.2.2 營銷的幾個重要的方法論 / 243
8.2.3 營銷體系的三個發(fā)展階段 / 246
8.3 營銷中臺建設 / 254
8.3.1 營銷中臺框架圖 / 254
8.3.2 營銷中臺功能介紹 / 255
8.4 營銷中臺應用案例 / 263
8.4.1 電話營銷續(xù)保精準營銷 / 263
8.4.2 廣告精準投放獲客+線索轉化 / 266
8.4.3 保險智能銷售助手 / 268
第9章 風險管理中臺:360°的風險管家 / 271
9.1 風險管理中臺 / 272
9.1.1 汽車保險的主要風險管理節(jié)點示例 / 272
9.1.2 風險管理中臺框架圖 / 273
9.1.3 風險管理中臺功能介紹 / 273
9.1.4 風險管理的標準化流程 / 289
9.2 風險管理中臺的應用案例 / 292
9.2.1 反“薅羊毛” / 292
9.2.2 語音質檢風險篩查 / 292
9.2.3 車險理賠反欺詐 / 293
9.2.4 團體保險風險管理體系 / 295
9.2.5 人身險風險管理建設 / 296