騰訊作為一家以互聯(lián)網(wǎng)為基礎(chǔ)的科技與文化公司，其互聯(lián)網(wǎng)業(yè)務(wù)與億萬(wàn)網(wǎng)民的日常生活息息相關(guān)，從社交平臺(tái)出發(fā)，已拓展至娛樂(lè)、金融、資訊、工具、流量平臺(tái)等多個(gè)業(yè)務(wù)板塊。2019年，馬化騰公布騰訊公司的新愿景為用戶為本，科技向善，目前已經(jīng)踐行多個(gè)科技向善落地方案，例如與政府合作的AI尋人、AI醫(yī)學(xué)影像產(chǎn)品騰訊覓影，以及培育高產(chǎn)量AI黃瓜等項(xiàng)目，而這些項(xiàng)目的背后無(wú)不是以騰訊大數(shù)據(jù)作為底層支撐，通過(guò)AI賦能創(chuàng)造可以為社會(huì)帶來(lái)實(shí)際價(jià)值的產(chǎn)品。
騰訊數(shù)據(jù)人每天不得不面對(duì)海量的數(shù)據(jù)處理需求，例如用戶每天在微信朋友圈和QQ空間上傳的圖片超過(guò)10億張，騰訊視頻每天播放量超過(guò)20億次，除夕當(dāng)天紅包支付超過(guò)25億筆，每天移動(dòng)支付超過(guò)5億筆，這些數(shù)據(jù)規(guī)模在國(guó)內(nèi)均居行業(yè)前列。
伴隨著業(yè)務(wù)的迅猛發(fā)展，騰訊大數(shù)據(jù)平臺(tái)十年磨一劍，已經(jīng)初步搭建完成了數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、應(yīng)用、運(yùn)維、治理等一整套大數(shù)據(jù)業(yè)務(wù)處理平臺(tái)。本書(shū)正是在此背景下應(yīng)運(yùn)而生的，首次對(duì)外詳細(xì)闡述了騰訊大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)，以及多年來(lái)平臺(tái)建設(shè)的思考與沉淀。
本書(shū)內(nèi)容總體分成兩大部分，第一部分主要講述騰訊大數(shù)據(jù)平臺(tái)的技術(shù)體系，第二部分主要講述騰訊大數(shù)據(jù)通過(guò)騰訊云對(duì)外開(kāi)放的一系列產(chǎn)品。主要包括：
一、騰訊大數(shù)據(jù)的起源、技術(shù)理念及發(fā)展歷程：重點(diǎn)講述騰訊大數(shù)據(jù)從無(wú)到有的故事、開(kāi)源路線選擇的思考以及三代大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)演進(jìn)。
二、數(shù)據(jù)實(shí)時(shí)采集平臺(tái)：重點(diǎn)講述騰訊自主研發(fā)的高并發(fā)消息中間件，該平臺(tái)在騰訊內(nèi)部使用超過(guò)十年，每天接入數(shù)十萬(wàn)億級(jí)的消息。
三、分布式存儲(chǔ)平臺(tái)：講述廣受歡迎的HDFS、Ceph、HBase等開(kāi)源組件，并重點(diǎn)闡述下一代分布式存儲(chǔ)平臺(tái)Ozone。
四、分布式計(jì)算平臺(tái)：重點(diǎn)講述騰訊大數(shù)據(jù)歷經(jīng)十年發(fā)展的變遷史，從Hadoop到Spark，從Storm到Flink的發(fā)展史，同時(shí)也講述任務(wù)調(diào)度系統(tǒng)及多種計(jì)算分析引擎。
五、資源調(diào)度平臺(tái)：重點(diǎn)講述如何實(shí)現(xiàn)十萬(wàn)節(jié)點(diǎn)級(jí)別的大規(guī)模集群的調(diào)度管理，闡述CPU、GPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等資源調(diào)度的優(yōu)化。
六、數(shù)據(jù)治理體系：涉及元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全等內(nèi)容。
七、機(jī)器學(xué)習(xí)平臺(tái)：介紹騰訊大數(shù)據(jù)自主研發(fā)的高性能分布式機(jī)器學(xué)習(xí)平臺(tái)Angel，這是國(guó)內(nèi)首個(gè)在全球范圍的頂級(jí)開(kāi)源社區(qū)畢業(yè)的機(jī)器學(xué)習(xí)平臺(tái)。
八、數(shù)據(jù)內(nèi)容挖掘：主要講述對(duì)數(shù)據(jù)價(jià)值的挖掘、以用戶畫(huà)像為核心的數(shù)據(jù)內(nèi)容的挖掘。
九、大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)：大數(shù)據(jù)平臺(tái)的核心競(jìng)爭(zhēng)力很大一部分來(lái)自平臺(tái)的運(yùn)維與運(yùn)營(yíng)，騰訊大數(shù)據(jù)平臺(tái)的機(jī)器節(jié)點(diǎn)規(guī)模超過(guò)十萬(wàn)臺(tái)，但騰訊大數(shù)據(jù)運(yùn)維團(tuán)隊(duì)只有二三十人，這里主要講述運(yùn)維團(tuán)隊(duì)經(jīng)歷的方方面面。
十、對(duì)外開(kāi)放的騰訊大數(shù)據(jù)能力：講述騰訊大數(shù)據(jù)套件TBDS、一站式機(jī)器學(xué)習(xí)平臺(tái)智能鈦TI，也講述每天推送量達(dá)到數(shù)百億的移動(dòng)推送平臺(tái)，重點(diǎn)披露承載了騰訊大數(shù)據(jù)超過(guò)500萬(wàn)核的底層算力平臺(tái)的技術(shù)實(shí)踐細(xì)節(jié)，還有智能客服機(jī)器人、數(shù)據(jù)可視化產(chǎn)品等。
本書(shū)由騰訊數(shù)據(jù)平臺(tái)部組織編寫(xiě)，詳盡地記錄了騰訊大數(shù)據(jù)技術(shù)發(fā)展與演進(jìn)各個(gè)階段所使用的技術(shù)，也記錄了騰訊大數(shù)據(jù)團(tuán)隊(duì)經(jīng)歷過(guò)的各種考驗(yàn)，希望可以給各位同行及有志于從事大數(shù)據(jù)行業(yè)的朋友一些啟發(fā)與借鑒。