本書以 BI 負責人的視角介紹 BI 分析師的核心工作和應具備的核心技能,并分析 BI 創(chuàng)造價值的專題,理論和實例并重。全書分為四部分:
第一部分(第 1、2 章)為 BI 概述與團隊組建,從介紹 BI 分析的基本概念說起,包含BI 職責與數(shù)據驅動的概述,以及組建團隊時需要考慮的能力模 型、團隊選型、團隊管理。第二部分(第 3、4 章)為 BI 體系搭建基礎知識,包括數(shù)據獲取與管理,指標體系的概念、設計模型與使用場景。第三部分(第 5 ~ 9 章)為 BI 創(chuàng)造價值專題,包括增長、價值主張、盈利、體驗、風控五大專題。第四部分(第 10、11 章)為回顧與展望,從衣、食、住、行、學五個方面回顧數(shù)據已經帶來的變化與未來可預期的變化,最后從進化的視角探討應對人工智能范式轉移的策略。
對于想要通過數(shù)據驅動業(yè)務、改善決策質量的互聯(lián)網從業(yè)者來說,本書應該是一本非常實用的參考書。
深入闡述BI團隊應發(fā)揮的核心價值;
全書貫穿電商、教育、外賣領域的實操案例;
剖析BI指標體系的設計模型與使用場景;
五大專題詳述BI如何創(chuàng)造業(yè)務價值;
致謝
這本書能夠與讀者見面,得益于我有幸遇到的卓越人物。
首先,要感謝幫助我建立數(shù)據素養(yǎng)的人。我要感謝 Michael Truffa,他在十年前就看到了機器學習的潛力,并在全球范圍內領導團隊轉型,讓我從關注因果關系轉向關注模式識別。還要感謝張晨,他啟動了京東大腦項目,在全公司范圍內推動了數(shù)據與業(yè)務的融合,因為我有幸參與了這個項目,從而見識到數(shù)據在釋放生產力方面的巨大潛力。還要感謝碧波,他帶領團隊挺進無人區(qū),挑戰(zhàn)行業(yè)頑疾,不斷打破邊界,教會我探索未知領域的基本技能。此外,還要感謝那些未曾親見的行業(yè)引領者,特別是陸奇、吳恩達、吳軍,他們對這個世界的不懈探索和睿智指導,激勵著所有從業(yè)者不斷向前邁進。
然后,要感謝在工作中給我支持和指引的人。在數(shù)據驅動的世界中,得到業(yè)務一把手的支持需要靠實力,也拼運氣。如果業(yè)務領導不關注效率,那么提升效率就無法得到有效的資源支持,從而變得無從發(fā)力。我要真誠地感謝大羅,他以技術和數(shù)據為驅動,打造了一家備受尊敬的教育公司。他的努力使我們有機會優(yōu)化運營效率,并深入研究數(shù)據驅動的學習方法,不斷探索新方式來提升學習效率和教育效果。
同時,需要衷心感謝 Joe 和娜姐,他們始終堅持以業(yè)務結果為導向,聚焦業(yè)務增長、用戶體驗優(yōu)化與運營效率提升,他們引領業(yè)務向前的卓越的領導力使我們在數(shù)據驅動業(yè)務的路上走得更加堅定。也請允許我跨時空向暴躁的貝多芬和米開朗琪羅、俊美的羽生結弦、神奇的馬斯克致敬,他們不妥協(xié)的精神鼓舞我前進;感謝 UCLA 的傳奇籃球教練約翰·伍登,感謝傳奇足球教練若澤·穆里尼奧,教會我?guī)ш犠鲬?zhàn)的基本原則。
第三,要衷心感謝一路關注與支持我的良師和益友。晶晶把每一位成員培養(yǎng)為準團隊領導者的實踐,為我較快地成長為團隊負責人奠定了基礎。溫文爾雅卻從不妥協(xié)的 April(李萌)讓我親眼見證了基于信任的、溫柔卻堅定的領導力。我還要感謝謝大人、小鵬總、罡叔和大寬,他們雖然在批評時從不手軟,但在真的需要幫助時從來不吝惜援手。感謝有趣而充滿活力,并時常用獨到的視角觀察世界的 Amy(阿溥)、郭麟、元奎,雖然我們共事時間不長,但他們總是以真誠和開放的態(tài)度與我互動,使我始終保持對前沿科技與業(yè)界最佳實踐的敏銳。感謝給力的合作伙伴亮哥、文帥、俊辰,他們深厚的技術功底和始終秉持合作的團隊精神讓合作順利而高效。還要感謝我親愛的海蘭姐、雪蓮姐、Sue 前輩、金聞前輩、美麗的翠銘和彩文,在職業(yè)發(fā)展的各個階段都給予我指導和建議,監(jiān)督和引導我做出更好的決策,使我敢于挑戰(zhàn)許多我曾經認為不可能的目標;也要感謝牙牙、劍瑩、靜靜、蘭蘭、長祐、金成、大吉、崇蘭、美玲、金靖和虹虹,在這紛繁復雜的世界里始終堅守初心,與我并肩抵抗日常的損耗。
第四,感謝那些始終不離不棄的團隊小伙伴們。我要特別感謝親愛的丹陽、令彤、宇帆、熙若、佳琪、小蘑菇、何雨、麒粱、侯睿、興權、孫暢、丹丹、佳佳以及其他所有團隊成員,他們一直以來的支持和合作讓我深感溫暖和感激。他們跟隨著我一路前行,而這并非總是一件輕松的事情。正是他們出色的技術儲備和卓越的職業(yè)素養(yǎng),使我們得以肩并肩,為團隊的共同目標努力奮斗,不斷打怪升級。我也要特別感謝程露、Kathly、Samuel、Lody、東杰、明偉,是他們的專業(yè)素養(yǎng)、協(xié)作精神,提升了跨端、跨職能部門協(xié)作的確定性,激發(fā)了更廣范圍內的合作動力。
第五,特別感謝呂云彤,我完全出于自愿主動地為她寫單獨一行。
此外,我還要感謝素未謀面的 Jana Schaich Borg 教授(杜克大學)、Paul Bendich 教授(杜克大學)、Gilbert Strang 教授(MIT)、Ben Polak 教授(耶魯大學)、Stephen C. Stearns 教授(耶魯大學)、Hsuan-Tien Lin 教授(臺灣大學)、Scott E. Page 教授(密西根大學)、吳恩達教授(斯坦福大學)、Robert Sapolsky 教授(斯坦福大學)、Esther Duflo 教授(MIT)、Benjamin Olken 教授(MIT),感謝他們無私分享知識和經驗;也要感謝 Cousera、Edex 等在線教育平臺提供了幾乎所有我想學的課程,同時感謝 B 站的小蜜蜂們孜孜不倦地搬運優(yōu)秀學習資源。
最后,由衷地感謝王中英老師。她以出色的編輯能力和專業(yè)素養(yǎng),以及對細節(jié)的嚴謹把控和耐心的指導,使語言的力量得以釋放。若不是王中英老師的認真與耐心抓住了我跳躍的思維,這些信息可能只會止于我的個人經歷,無法以一種通俗易懂的方式傳達給其他人。我希望能有更多機會與她合作,共同創(chuàng)造更多優(yōu)秀的作品。
借用后濱老師的話結尾:時代的局限才是真的局限。只要不是時代的局限,就不是局限。
感謝卓越且認真的你們。
前言
寫作理由
寫書的過程比我預想的更加艱難和耗時,但我堅持下來的主要原因有以下幾點。
首先,我發(fā)現(xiàn)在大多數(shù)業(yè)務場景下,數(shù)據驅動的運營效率遠高于單純依賴領域經驗的運營效率。我掐指算了算,自己從京東到華為、VIPKID、火花思維再到滴滴,從事互聯(lián)網數(shù)據分析已經快十年了。我做職業(yè)規(guī)劃時有意識地做了領域交叉,從需求側到供給側、從互聯(lián)網到傳統(tǒng)企業(yè)、從國內市場到國外市場均有涉及。雖然每次遇到的具體問題都有所不同,但回顧過去的經歷,我發(fā)現(xiàn)在每個領域都證實了業(yè)務領域與數(shù)據科學的結合可以釋放巨大的生產力。數(shù)據在某種意義上是客觀世界的映射,數(shù)據驅動實際上就是借助客觀世界的映射來推動業(yè)務發(fā)展。相比之下,人的經驗參差不齊。如果舊知識和客觀世界的映射相沖突,客觀世界就會占優(yōu)勢。因此,我認為數(shù)據驅動的價值在于讓我們盡可能接近客觀世界,從而做出更符合客觀世界的決策。而這種決策也必然更有利于我們創(chuàng)造價值,這也是我喜歡數(shù)據的原因。
其次,我發(fā)現(xiàn)數(shù)據驅動業(yè)務的經驗是可復制的。根據事情的確定性,我習慣性地將事情分為兩類:一類是探索型的、創(chuàng)造性的,即這件事情沒有發(fā)生過,也許理論上可行,但還沒有人實現(xiàn)過。例如馬斯克的 SpaceX 和特斯拉,這一類事情的不確定性極高,只有少數(shù)人才有做成這一類事情的能力。另一類是有邊界、可描述、之前發(fā)生過的事情。這一類事情具有相對高的確定性,面對這類事情,要求參與者通過不斷地學習最佳實踐來實現(xiàn)價值創(chuàng)造。這兩種價值創(chuàng)造方式都是有意義的,前者需要一些天賦且未必能做成,但會增加這個世界的可能性;后者則需要不斷努力和學習才能達成,會提高這個世界運轉的效率。數(shù)據驅動業(yè)務屬于后者,通過不斷努力和學習是可以達成的,且能提高實現(xiàn)新可能性的效率。
最后,我認為現(xiàn)在是一個非常適合共同擁抱數(shù)據的時機!妒奈鍞(shù)字經濟發(fā)展規(guī)劃》將數(shù)字經濟提升到國家戰(zhàn)略的層面。ChatGPT 的出現(xiàn)讓我們重新審視了數(shù)據和人工智能的巨大潛力,我們必須應對接下來可能發(fā)生的范式轉移的變化。耶魯大學的 Stephen C. Stearns 教授在總結進化史中的關鍵事件時,提到了生命的起源、原核生物的循環(huán)、真核生物的出現(xiàn)、光合作用和多細胞生物的出現(xiàn)等幾個標志性的事件,并總結了幾次關鍵進化中出現(xiàn)的共同原則:進化的瞬間會伴隨層級的增長,層級復雜之后會伴隨新的社會分工,信息傳輸系統(tǒng)將會發(fā)生巨大變化。通常在形成更高層級的過程中,上一個級別需要合作才能組成更高級別的單位,從而實現(xiàn)新的系統(tǒng)功能。隨著 AIGC 的出現(xiàn),現(xiàn)在看起來似乎不僅僅是人類會主動產生內容,算法也可以。而且基于人類的創(chuàng)造系統(tǒng)與 AIGC 的創(chuàng)造系統(tǒng)之間也可能存在某種協(xié)作與競爭。從微觀上看,熟悉數(shù)據會給個人帶來一定的競爭優(yōu)勢;從宏觀上看,它可以提高我們的合作程度,提高我們作為一個整體系統(tǒng)在競爭中的表現(xiàn)。
寫作思路
數(shù)據驅動業(yè)務本身是一件復雜的事情,成敗受諸多變量影響。作為核心的驅動源,BI 團隊的核心競爭力不僅僅是代碼效率,更重要的是團隊可以用數(shù)據的視角觀察世界。BI 團隊能找到多少數(shù)據驅動業(yè)務的機會點,能把握多少機會點、把握到什么程度,基本奠定了數(shù)據驅動的深度和廣度。
鑒于此,本書主要從數(shù)據的視角出發(fā),引用電商、教育、外賣實操經驗,帶讀者一起挖掘可以提高業(yè)務各環(huán)節(jié)效率的支點,例如通過數(shù)據提高決策質量、驅動增長、強化價值主張、提升盈利能力、改善用戶體驗、實現(xiàn)風險控制等,并盡可能包含常用的思維模型、算法模型、決策模型,以及 BI 團隊與業(yè)務、產品團隊協(xié)作并影響業(yè)務決策的方法論。
這本書的寫作思路是按照我從零搭建數(shù)據分析團隊,并帶領團隊在公司內實現(xiàn)數(shù)據驅動業(yè)務時需要做的決策、完成的任務來梳理的。全書分為四部分:
● 第一部分(第 1、2 章)為 BI 概述與團隊組建,從介紹 BI 分析的基本概念說起,包含 BI 職責與數(shù)據驅動的概述,以及組建團隊時需要考慮的能力模型、團隊選型、團隊管理。
● 第二部分(第 3、4 章)為 BI 體系搭建基礎知識,包括數(shù)據獲取與管理,指標體系的概念、設計模型與使用場景。
● 第三部分(第 5 ~ 9 章)為 BI 創(chuàng)造價值專題,包括增長、價值主張、盈利、體驗、風控五大專題。
● 第四部分(第 10、11 章)為回顧與展望,從衣、食、住、行、學五個方面回顧數(shù)據已經帶來的變化與未來可預期的變化,最后從進化的視角探討應對人工智能范式轉移的策略。
對于想要通過數(shù)據驅動業(yè)務、改善決策質量的互聯(lián)網從業(yè)者來說,本書應該是一本非常實用的參考書。對于非互聯(lián)網領域的從業(yè)者,如果希望通過數(shù)據驅動來推進企業(yè)數(shù)字化轉型或提高運營效率,本書也是一本有價值的參考書。
感謝本書的合作者:呂云彤、孟令桐、李丹陽、楊文帥、陳翠銘、韓彩文、呂晶晶和樸元奎。
只要有無效的市場存在,就有技術和數(shù)據可以提效的空間。希望通過本書內容的分享,降低數(shù)據驅動業(yè)務的認知和操作門檻,讓更多領域都能開出數(shù)據的小紅花,實現(xiàn)更廣范圍的數(shù)據驅動業(yè)務。
都美香
2024 年 1 月
正在攻讀杜克大學跨學科數(shù)據科學碩士(MIDS)項目,擁有中國人民大學歷史專業(yè)本科學位。曾在滴滴擔任國家決策支持部負責人,兼任日本、巴西外賣分析團隊負責人;火花思維商業(yè)智能部負責人;VIPKID高級數(shù)據分析經理;華為擔任高級工程師。帶領團隊在零售、教育、外賣等領域實現(xiàn)數(shù)據驅動,在供給側與需求側、互聯(lián)網與傳統(tǒng)企業(yè)、國內和國際業(yè)務領域都積累了豐富的實戰(zhàn)經驗。
第一部分? BI 概述與團隊組建
第 1 章? BI 分析概述? /? 2
1.1 從分析的概念說起 / 3
1.1.1 常見的分析概念 / 3
1.1.2 BI 分析的概念 / 8
1.2 BI 分析行業(yè)現(xiàn)狀與 BI 的職責 / 9
1.2.1 沒有什么不在被數(shù)字化 / 9
1.2.2 我們相信上帝,但其他人必須提供數(shù)據 / 14
1.2.3 BI 團隊的職責 / 15
1.2.4 BI 團隊的常見分類 / 16
1.3 數(shù)據驅動概述 / 17
1.3.1 數(shù)據驅動業(yè)務的衡量維度 / 17
1.3.2 數(shù)據驅動業(yè)務的大體流程 / 19
第 2 章? 組建 BI 團隊? /? 22
2.1 人:數(shù)據分析師畫像 / 23
2.1.1 分析師通用能力 / 23
2.1.2 不同部門對應的 BI 分析師特征 / 24
2.1.3 不同任務屬性對應的 BI 分析師特征 / 25
2.2 BI 團隊的架構設置與部門間協(xié)作 / 27
2.2.1 BI 團隊外部架構 / 27
2.2.2 BI 跨部門協(xié)作機制 / 29
2.3 團隊管理 / 32
2.3.1 團隊選型 / 32
2.3.2 團隊運作機制 / 36
第二部分? BI 體系搭建基礎知識
第 3 章? 數(shù)據獲取與管理? /? 40
3.1 數(shù)據采集(以外賣業(yè)務為例) / 41
3.1.1 數(shù)據源類型 / 41
3.1.2 數(shù)據源的信息結構 / 44
3.1.3 數(shù)據傳輸與存儲 / 46
3.2 數(shù)據質量管理 / 49
3.2.1 數(shù)據質量標準 / 49
3.2.2 數(shù)據質量治理 / 50
3.3 新型數(shù)據源 / 52
3.3.1 關注傳感器的數(shù)據 / 52
3.3.2 音頻、視頻等非結構化數(shù)據的解析與應用 / 53
3.3.3 標注數(shù)據 / 55
第 4 章? 搭建指標體系? /? 57
4.1 指標體系的概念、作用和衡量標準 / 58
4.1.1 指標體系的概念 / 58
4.1.2 指標體系的作用 / 60
4.1.3 指標體系的衡量標準(以外賣場景為例) / 64
4.2 指標體系的設計模型 / 66
4.2.1 第一關鍵指標法(以電商和在線教育為例) / 67
4.2.2 OSM 模型(以在線教育為例) / 69
4.2.3 AARRR 海盜指標法(以在線教育為例) / 73
4.2.4 用戶旅程地圖模型(以電商為例) / 75
4.3 指標體系的開發(fā)流程 / 78
4.4 指標體系的使用場景(以外賣業(yè)務為例) / 78
4.4.1 日維度業(yè)務監(jiān)控 / 78
4.4.2 周維度業(yè)務診斷 / 80
4.4.3 月維度業(yè)務復盤 / 82
4.4.4 支持日常業(yè)務決策 / 84
第三部分? BI 創(chuàng)造價值專題
第 5 章? 專題:增長? /? 88
5.1 概念 / 89
5.1.1 增長黑客的概念 / 89
5.1.2 增長金字塔:找到市場契合點和價值投遞引擎 / 90
5.1.3 增長黑客的運營機制 / 92
5.2 數(shù)據科學的演繹 / 95
5.2.1 人工智能的高光時刻 / 95
5.2.2 提煉算法替代決策的機會點 / 96
5.2.3 2% 的人通過機器控制 98% 的人 / 97
5.2.4 提問題的能力才是核心能力 / 99
5.3 數(shù)據驅動增長的案例(以在線教育為例) / 101
5.3.1 獲客:注冊 / 102
5.3.2 激活:轉化 / 103
5.3.3 留存:退費 / 104
5.3.4 盈利:續(xù)費 / 105
5.3.5 傳播:轉介紹 / 107
5.3.6 附:增長分析中常用的算法模型 / 108
第 6 章? 專題:價值主張? /? 110
6.1 實現(xiàn)價值主張的分析方法 / 111
6.1.1 第一性原理:抓住本質 / 111
6.1.2 爬樓梯策略:窮盡方法 / 113
6.2 數(shù)據驅動價值主張的實現(xiàn)(以在線教育為例) / 115
6.2.1 提高運營效率 / 115
6.2.2 提高學習效果 / 118
6.3 數(shù)據驅動價值主張的實現(xiàn)(以外賣業(yè)務為例) / 122
6.3.1 外賣平臺的出現(xiàn)是社會的進步 / 122
6.3.2 多、快、好、省 / 123
第 7 章? 專題:盈利? /? 130
7.1 盈利能力分析 / 132
7.1.1 傳統(tǒng)的盈利能力分析:賺更多錢 / 132
7.1.2 新業(yè)務的盈利能力分析:賺 1 塊錢 / 133
7.2 制定業(yè)務目標 / 135
7.2.1 制定目標的格柵思維 / 135
7.2.2 目標預測的模型類型 / 136
7.2.3 制定目標的決策體系:格柵模型 / 143
7.2.4 目標管理的長遠意義:鍛造持續(xù)成功的團隊 / 145
7.3 增長結構優(yōu)化 / 146
7.3.1 增長引擎的類型 / 146
7.3.2 數(shù)據驅動增長引擎(以在線教育業(yè)務為例) / 147
7.4 單位經濟效益優(yōu)化:毛利分析 / 150
7.4.1 確定毛利目標(以外賣業(yè)務為例) / 150
7.4.2 優(yōu)化毛利結構(以外賣業(yè)務為例) / 152
第 8 章? 專題:體驗? /? 157
8.1 用戶體驗概述 / 158
8.1.1 概念 / 158
8.1.2 度量模型 / 158
8.1.3 用戶體驗分析方法 / 161
8.2 用戶體驗分析應用 / 162
8.2.1 搭建體驗指標體系(以外賣業(yè)務為例) / 162
8.2.2 問卷調研 / 163
8.2.3 KANO 模型 / 166
8.2.4 文本挖掘 / 168
8.2.5 關聯(lián)用戶行為與評價、調研 / 170
第 9 章? 專題:風控? /? 172
9.1 概述 / 174
9.1.1 風控的概念 / 174
9.1.2 風控的特征 / 174
9.1.3 風控不利可能造成的影響 / 176
9.2 風險感知(以外賣業(yè)務為例) / 177
9.2.1 掃描業(yè)務流程與策略,鎖定風控點 / 177
9.2.2 異常值分析與離群點監(jiān)測 / 179
9.2.3 客服數(shù)據監(jiān)測 / 180
9.3 風險分析(以外賣業(yè)務為例) / 181
9.3.1 描述性分析 / 181
9.3.2 根本原因分析 / 183
9.3.3 共同因素分析 / 184
9.4 風險治理 / 186
9.4.1 治理的環(huán)節(jié) / 186
9.4.2 治理的策略 / 187
第四部分? 回顧與展望
第 10 章? 數(shù)據驅動隨處可見? /? 190
10.1 衣 / 191
10.1.1 SHEIN 是什么 / 191
10.1.2 SHEIN 的數(shù)據驅動的運營機制 / 192
10.2 食 / 196
10.2.1 編輯基因獲得更好的西紅柿種子 / 196
10.2.2 數(shù)據驅動,提高種植效率 / 197
10.2.3 數(shù)據驅動,提高交易效率 / 199
10.2.4 數(shù)據驅動,提煉市場信號 / 200
10.3 住 / 201
10.3.1 比爾·蓋茨的未來之家 / 201
10.3.2 交互:基于語言交互的智能音響 / 202
10.3.3 領會意圖:環(huán)境計算 / 203
10.4 行 / 205
10.4.1 擁有不出行的選擇:在線生活和工作 / 205
10.4.2 提高出行效率:網約車平臺 / 206
10.4.3 智慧交通:單車智能、車路協(xié)同 / 208
10.5 學 / 209
10.5.1 搜索信息 / 209
10.5.2 在線教育 / 211
10.5.3 人工智能與教育 / 212
第 11 章? 數(shù)量與質量:結合人工智能的競爭優(yōu)勢? /? 216
11.1 科學 / 217
11.2 還原 / 218
11.3 變異 / 219
11.4 概率 / 220
11.5 涌現(xiàn) / 221
11.5.1 層創(chuàng)進化 / 221
11.5.2 吸引與排斥 / 222
11.5.3 元素與網絡 / 223
11.6 智能 / 225
11.6.1 人類和果蠅有什么差別 / 225
11.6.2 人類和黑猩猩有什么差別 / 225
11.6.3 人和機器有什么差別 / 226
11.6.4 結合人工智能的競爭策略 / 226