推 薦 序
我是2019年6月份認識超華的,得知他準備出版自己的新書,而且還是中臺方向,我就非常感興趣?赐晷聲醺,我就從自己的角度聊聊中臺以及我對這本書的理解。
中臺這個概念近幾年非;馃,對于很多公司來說,如果不做中臺都顯得自己跟不上時代或者公司不夠“高大上”,可實際上真正懂中臺、做過中臺、了解如何使用中臺的人并不多。這就出現了一種情況,很多公司的中臺戰(zhàn)略都停留在口頭上和會議室里,實際落地到業(yè)務和系統中卻什么也沒有。
導致這種現象的原因有兩種:第一種,有些公司對自身業(yè)務特點不了解,硬上中臺,結果水土不服;第二種,有些公司缺少對中臺的認知和實操經驗,使用方法錯誤。其實,一家公司在上馬中臺戰(zhàn)略以前,一定要明確:中臺是否適合于本公司。為什么這么說呢?因為很多公司其實是不需要中臺的。在我看來,只有業(yè)務密度和復雜度達到一定量級的公司,才有中臺存在的必要。如果只是簡單的業(yè)務組件化或者系統模塊化,就算沒有中臺,公司也可以實現。所以,支撐復雜業(yè)務的業(yè)務中臺以及支撐海量數據的數據中臺才是中臺的核心價值所在。
學習中臺的最好方式就是通過成功案例和實操經驗獲取知識,因為這都是最真實可落地的東西,比起一堆的概念或者噱頭來說要有用得多。超華對中臺有著豐富的實踐經驗,在大型企業(yè)中負責業(yè)務中臺和數據中臺從0到1搭建的過程,這種實戰(zhàn)經驗是非?少F的,能讓理論落地。
不管是數據中臺,還是業(yè)務中臺,從概念到落地、從方案到經驗,需要經過實踐和打磨,非短期突擊能實現。超華在這方面有自己獨到的經驗和方法論。在書中,他對于數據中臺的幾個核心環(huán)節(jié)(采集、存儲、打通、應用)的概括非常完整,這是構建數據中臺的重要方法,憑此可以讓數據中臺一步一步落地并實現。
如果你未來準備往中臺產品經理發(fā)展,或者你所在的公司準備構建自己的中臺體系項目,那么這本既有方法、也有案例的書會是你不錯的實踐參考。開卷有益,希望對你有所幫助。
《產品經理必懂的技術那點事兒》作者、
公眾號“唐韌”主理人 唐韌
前 言
親愛的讀者,你好,我是本書作者董超華,行業(yè)內都叫我“華仔”。我曾就職于科大訊飛,現任富力環(huán)球商品貿易港數據中臺產品負責人,是人人都是產品經理社區(qū)、PMTalk社區(qū)、產品100社區(qū)的專欄作者,公眾號“改變世界的產品經理”的主理人。
自從2015年阿里巴巴提出中臺的概念后,中臺的概念就迅速傳遍整個互聯網圈。我知道,很多朋友應該看過朋友圈里流傳的相關文章,甚至有人曾經為了聽“大廠”職工們講中臺的干貨,奔走在各種大小行業(yè)會議之間。我也知道,這種碎片化的吸收雖然增加了大家的知識,卻也增加了大家的焦慮,因為技術不平等廣泛存在于業(yè)界。
阿里巴巴早在2015年就公布了中臺的概念,說明其早已把中臺體系做得很成熟,如果你不是阿里巴巴的員工,沒有親身經歷中臺的搭建,就很難理解中臺究竟是干什么的。
2019年5月13日,我寫了一篇關于數據中臺的文章,發(fā)表在人人都是產品經理社區(qū)中,第二天該文章的閱讀量就破了1萬次。截至2020年6月,我的數據中臺實戰(zhàn)系列文章的全網閱讀量已經突破34萬次。為什么我的數據中臺實戰(zhàn)系列文章這么“火”呢?除了如今中臺的概念比較“火”之外,還因為深入了解中臺的人少之又少,大多數人都只能講概念,很少有人能寫出關于中臺搭建的實戰(zhàn)干貨。我在富力集團有幸經歷了業(yè)務中臺、數據中臺的從0到1搭建全過程,而與富力集團合作搭建中臺的正是阿里系中臺搭建工作的直接參與者,這使得我在富力集團搭建中臺的過程中吸收了很多關于中臺的實戰(zhàn)經驗。
本書基于我多年搭建數據中臺的實戰(zhàn)經驗,從“采集”“存儲”“打通”“應用”的角度,毫無保留地為你解析從0到1搭建數據中臺的全過程。本書的讀者范圍很廣,無論你是正在進行數據化轉型的公司高層、一線的產品經理/運營人員/設計師/開發(fā)人員,還是對數據領域感興趣的從業(yè)人員或求職學生,都可以從中學到想要的內容。
第1章“數據中臺入門攻略”讓你快速了解中臺基礎知識。首先,這一章清晰地解答了什么是中臺、什么是業(yè)務中臺、什么是數據中臺、為什么要搭建數據中臺、什么企業(yè)適合搭建數據中臺等典型問題。其次,這一章通過雙中臺實戰(zhàn)的案例,進一步加深你對中臺的了解。最后,這一章通過數據中臺的人員構成、開發(fā)流程、如何與其他部門合作等講解,進一步剖析數據中臺究竟是什么。
第2章“數據采集”介紹數據中臺的數據采集模塊。在這一章中,你會學到如何通過數據埋點采集用戶行為數據、如何采集產品線業(yè)務數據。這一章通過多個實戰(zhàn)案例為你介紹為什么要進行數據采集、要采集哪些內容、怎么進行數據采集。
第3章“數據存儲與計算”介紹數據中臺數據存儲與計算模塊。在這一章中,你會學到如何打造一套高效、沒有歧義的指標管理體系。這一章還會為你介紹數據中臺的分層建模體系,通過實戰(zhàn)案例講解從ODS層到DWD/DWS層,再到ADS層建模和數據計算的全過程,讓你從模型設計和數據計算的角度進一步理解數據中臺。
第4章“數據打通”介紹數據中臺的智能化應用標簽平臺。標簽平臺是用戶畫像和推薦系統的基礎,從寬表的定義、標簽體系的搭建、標簽的生成、用戶的圈選開始學習,從0到1教你搭建標簽平臺。這一章通過多個實戰(zhàn)案例,讓你學會如何打通用戶的行為數據和用戶的業(yè)務數據、如何打通公司內部各條產品線的數據,消除數據孤島,釋放數據的最大化價值。
第5章“用戶分析”、第6章“商品分析”、第7章“流量分析”、第8章“交易分析”依次講解數據中臺的數據應用模塊。用戶分析、商品分析、流量分析是我們經常說的“人、貨、場分析”,大多數的互聯網產品都會用到。交易數據是公司最核心的數據,交易分析部分的內容會介紹如何為領導層設計交易看板、如何為運營人員設計交易分析模塊。每章都會有具體實戰(zhàn)案例講解數據中臺如何通過數據實現企業(yè)的數據化運營、如何提高運營人員的效率、如何用數據賦能業(yè)務,從而在搭建數據中臺時避開各種陷阱。
第9章“自助分析平臺”介紹數據中臺的自助分析平臺。自助分析平臺可以解決數據中臺中數據可視化的問題。有了自助分析平臺可以幫助數據中臺大幅度提升開發(fā)效率,讓數據中臺專注于數據開發(fā)和模型設計。業(yè)務人員可以通過數據中臺配置專屬自己的數據看板,形成了看板的千人千面。
第10章“自動化營銷平臺”介紹數據中臺的數據智能應用——全渠道的自動化營銷平臺。通過全渠道的自動化營銷平臺,業(yè)務人員在做營銷活動時只需專注于策略的制定與選擇,其他的工作都可以交給機器來完成。這一章還會通過實戰(zhàn)案例講解如何做一場優(yōu)惠券的營銷活動,比如做一次周期性的短信觸達營銷活動。自動化營銷平臺能夠加深你對數據智能的了解。
第11章“推薦平臺”介紹數據中臺的數據智能應用——推薦平臺。這一章會為你介紹推薦系統的經典架構、幾個經典的推薦算法、如何從0到1打造一個離線的推薦系統、如何從0到1搭建一個實時的推薦系統。推薦系統屬于AI應用,通過推薦系統可以讓你更清楚地知道什么是數據智能。
最后,我要感謝一下長期支持我的人。
感謝我的母親賈春南和愛人黃淑麗,她們一直陪伴和信任我,在我寫作的過程中,給予我極大的肯定和鼓舞。
感謝我在富力集團的領導李照瑜。我的成長和搭建數據中臺的實踐都是在與領導共事的過程中一點一滴地積累起來的,可以說,沒有領導的幫助,本書是不可能完成的。
感謝老曹(曹成明)、BLUES(蘭軍)、蘇杰、唐韌、王偉等圈內好友和行業(yè)大咖。各位大咖的作品讓我受益匪淺。在他們的身上,我學習到了很多干貨,希望日后可以見面交流,進行更深入的討論。
感謝電子工業(yè)出版社博文視點的編輯林瑞和老師,他不厭其煩地修改并提出了很多修改意見,使本書的質量變得更好。
數據中臺目前還處于發(fā)展初期,限于我自身的知識儲備、閱歷和格局,本書可能存在不足和偏頗之處,希望各位讀者批評指正。大家可以通過微信公眾號“改變世界的產品經理”給我留言,和我討論與數據中臺相關的問題,我會認真地思考和回復每條留言。在這個微信公眾號上,大家也可以找到我的個人微信號,與我直接進行交流。
董超華
2020年6月
第1章 數據中臺入門攻略 1
1.1 什么是中臺 1
1.1.1 業(yè)務中臺與數據中臺有什么關系 3
1.1.2 什么企業(yè)適合搭建中臺 3
1.2 雙中臺實戰(zhàn)案例 4
1.2.1 業(yè)務中臺架構 5
1.2.2 數據中臺架構 7
1.3 數據中臺人員構成 8
1.4 數據中臺開發(fā)流程 12
1.5 數據中臺內外合作機制 15
1.5.1 數據中臺如何與其他部門合作 15
1.5.2 數據中臺內部項目管理流程 18
第2章 數據采集 20
2.1 數據采集的分類 20
2.2 用戶行為數據采集 21
2.2.1 與第三方移動應用統計公司合作的數據采集方式 21
2.2.2 前后端埋點結合的數據采集方式 22
2.2.3 可視化埋點與后端埋點結合的數據采集方式 31
2.3 數據采集流程 33
2.4 數據埋點實戰(zhàn)案例 34
第3章 數據存儲與計算 38
3.1 數據指標的定義 39
3.1.1 數據指標的重要性 39
3.1.2 如何定義數據指標 39
3.1.3 如何識別虛榮指標 42
3.2 數據模型設計 43
3.2.1 什么是數據庫和數據倉庫 43
3.2.2 數據倉庫的分層建模體系 45
3.3 數據模型設計實戰(zhàn)案例 48
3.3.1 ODS層模型設計 49
3.3.2 DWD層/DWS層模型設計 54
3.3.3 ADS層模型設計 63
3.4 數據計算實戰(zhàn)案例 65
3.4.1 從ODS層到DWD層計算過程 65
3.4.2 從DWD層到DWS層計算過程 68
3.4.3 從DWS層到ADS層計算過程 70
第4章 數據打通 72
4.1 標簽平臺設計思路 72
4.2 標簽平臺快速入門 75
4.2.1 標簽平臺主流程介紹 75
4.2.2 數據寬表 76
4.2.3 標簽體系 77
4.2.4 標簽工廠 81
4.2.5 人群圈選 83
4.3 用戶畫像 87
4.3.1 個人用戶畫像 88
4.3.2 群體用戶畫像 89
4.4 標簽平臺實戰(zhàn)案例 91
第5章 用戶分析 95
5.1 用戶分析的思路 95
5.2 用戶拉新分析 96
5.2.1 用戶拉新渠道注冊碼管理 96
5.2.2 用戶拉新相關指標 98
5.2.3 用戶拉新頁面轉化率 98
5.2.4 用戶拉新ROI模型 100
5.3 用戶活躍分析 101
5.4 用戶留存分析 102
5.5 用戶轉化分析 103
5.6 用戶裂變分析 105
5.7 用戶生命周期分析 106
第6章 商品分析 110
6.1 商品售前分析 111
6.1.1 供應商的選擇 112
6.1.2 商品定位 113
6.1.3 商品數量規(guī)劃 114
6.1.4 商品上架分析 115
6.2 商品售中分析 116
6.3 商品售后分析 121
第7章 流量分析 123
7.1 網頁分析 124
7.1.1 推廣頁 125
7.1.2 商品詳情頁 126
7.2 路徑分析 127
7.3 坑位分析 130
第8章 交易分析 134
8.1 針對公司領導層的交易分析設計 134
8.1.1 領導層移動端交易分析設計 136
8.1.2 自動化短信推送 137
8.1.3 數據大屏設計 139
8.2 針對產品/運營人員的交易分析設計 140
8.2.1 交易分析數據總覽 141
8.2.2 渠道交易分析 141
8.2.3 交易來源分析 143
8.2.4 購物頻次分析和購物間隔分析 145
第9章 自助分析平臺 148
9.1 自助分析平臺產品方案 149
9.2 快速入門三種數據自助分析可視化產品 150
9.2.1 帆軟自助看板模塊介紹 151
9.2.2 達芬奇自助看板模塊介紹 153
9.2.3 Superset自助看板模塊介紹 155
9.3 自助分析平臺技術選型 157
9.4 自助分析平臺實戰(zhàn)案例 157
9.4.1 數據中臺集成達芬奇 157
9.4.2 自助分析平臺實戰(zhàn)案例 162
第10章 自動化營銷平臺 167
10.1 自動化營銷平臺的設計思路 168
10.2 自動化營銷平臺介紹 169
10.2.1 常規(guī)營銷活動的內容制作 170
10.2.2 營銷活動人群圈選 176
10.2.3 營銷活動觸達任務 176
10.2.4 活動效果分析 180
10.3 自動化營銷平臺實戰(zhàn)案例 182
10.3.1 優(yōu)惠券營銷活動實戰(zhàn)案例 182
10.3.2 周期性短信觸達營銷活動實戰(zhàn)案例 184
第11章 推薦平臺 187
11.1 什么是推薦系統 187
11.2 推薦系統架構 189
11.2.1 推薦系統功能架構 189
11.2.2 推薦系統技術架構 191
11.3 推薦平臺項目實施流程 192
11.4 兩種經典的推薦算法 193
11.4.1 基于用戶的協同過濾算法 194
11.4.2 基于物品的協同過濾算法 195
11.5 推薦系統的評測指標 196
11.6 推薦系統的冷啟動 199
11.7 從0到1打造一個離線推薦系統 201
11.7.1 離線推薦系統設計思路 201
11.7.2 離線推薦系統算法選型 201
11.7.3 離線推薦系統開發(fā)過程 204
11.7.4 離線推薦系統測試 208
11.8 從0到1打造一個實時推薦系統 210