【前言】

回想2020年，疫情的爆發(fā)使得世界經(jīng)濟(jì)陷入衰退，目前仍對(duì)我們的生活造成影響。

幸運(yùn)的是我們生活在一個(gè)好時(shí)代，科技在這幾十年中得到了迅猛發(fā)展。即使在疫情嚴(yán)重的時(shí)刻，我們?nèi)匀豢梢酝ㄟ^(guò)音視頻會(huì)議進(jìn)行遠(yuǎn)程辦公，通過(guò)在線教育系統(tǒng)進(jìn)行學(xué)習(xí)，通過(guò)一些視頻軟件觀看直播。

從某個(gè)角度看，這次疫情雖然導(dǎo)致很多行業(yè)處于崩潰邊緣，但也迫使一些行業(yè)加速發(fā)展，其中音視頻會(huì)議、在線教育的重要性馬上體現(xiàn)了出來(lái)，新的溝通方式和教育方式被越來(lái)越多的人所認(rèn)知、接納。我們甚至可以推測(cè)，在線教育行業(yè)和音視頻會(huì)議行業(yè)會(huì)在今年崛起，并在未來(lái)十年得到迅猛發(fā)展。音視頻技術(shù)、傳輸技術(shù)（如5G）的飛速發(fā)展，以及因此激發(fā)出的人們對(duì)音視頻的需求，也為音視頻行業(yè)的發(fā)展提供了動(dòng)力。

現(xiàn)在音視頻技術(shù)已經(jīng)非常成熟了，它被越來(lái)越廣泛地應(yīng)用于各行各業(yè)，如抖音、微信短視頻、娛樂(lè)直播、教育直播、音視頻會(huì)議等。就連熱門(mén)的AI技術(shù)也與音視頻技術(shù)關(guān)系密切，如智能音箱、自動(dòng)駕駛、人臉識(shí)別等都離不開(kāi)音視頻技術(shù)。未來(lái)音視頻技術(shù)會(huì)有更好的前景，對(duì)音視頻人才的需求也必然會(huì)像當(dāng)年移動(dòng)互聯(lián)網(wǎng)發(fā)展時(shí)一樣出現(xiàn)井噴現(xiàn)象。面對(duì)這樣的機(jī)遇，你若能掌握音視頻的核心技術(shù)，一定可以在未來(lái)職場(chǎng)上獲得豐厚的回報(bào)和滿滿的成就感。所以，目前是學(xué)習(xí)音視頻的時(shí)機(jī)，及早加入音視頻研發(fā)的隊(duì)伍，有助于你在未來(lái)的職場(chǎng)上更有作為。

說(shuō)到音視頻技術(shù)，就不得不說(shuō)Google開(kāi)源的WebRTC庫(kù)了。WebRTC庫(kù)如同音視頻技術(shù)的一頂王冠，上面鑲嵌了大大小小、各種各樣的寶石，如降噪、回音消除、自動(dòng)增益、NetEQ、網(wǎng)絡(luò)擁塞控制······不勝枚舉！目前國(guó)內(nèi)無(wú)論是在線教育直播系統(tǒng)，還是音視頻會(huì)議系統(tǒng)，其底層幾乎無(wú)一例外都使用了WebRTC或從WebRTC中借鑒了不少有價(jià)值的模塊和思想。不僅如此，如果現(xiàn)在你去應(yīng)聘一線大廠的音視頻研發(fā)崗，可以發(fā)現(xiàn)崗位描述中都寫(xiě)有熟悉WebRTC技術(shù)者優(yōu)先之類的要求，WebRTC的重要性由此可見(jiàn)一斑。因此，了解和學(xué)習(xí)WebRTC更顯得尤為重要。

自從2011年WebRTC推出之后，我就一直在追蹤其進(jìn)展。近幾年WebRTC的發(fā)展越來(lái)越快，服務(wù)質(zhì)量也越來(lái)越好，現(xiàn)在對(duì)于大多數(shù)公司來(lái)說(shuō)，完全不必像我們當(dāng)年（2010年）那樣從0開(kāi)始自研音視頻系統(tǒng)了。你可以在WebRTC的基礎(chǔ)上構(gòu)建系統(tǒng)，這樣既省時(shí)又省力，質(zhì)量又能得到保障。

但學(xué)習(xí)WebRTC也并非易事，需要你有良好的基礎(chǔ)，如熟練掌握C 、熟悉音視頻知識(shí)、了解網(wǎng)絡(luò)傳輸?shù)�，這顯然增加了學(xué)習(xí)WebRTC的成本。而我自從加入跟誰(shuí)學(xué)團(tuán)隊(duì)后，不知怎的竟有了好為人師的沖動(dòng)，一直在想是否可以對(duì)WebRTC做一個(gè)深入剖析，讓更多的人知道WebRTC能做什么，該如何更好地利用WebRTC。這種想法一直縈繞心頭，隨著時(shí)間的推移反而愈加強(qiáng)烈，后來(lái)竟成了我必須完成的使命！

因此，自2018年開(kāi)始，我制定了WebRTC三部曲的計(jì)劃，即推出三門(mén)課，分別是WebRTC入門(mén)與實(shí)戰(zhàn)百萬(wàn)級(jí)高并發(fā)WebRTC流媒體服務(wù)器的實(shí)現(xiàn)WebRTC源碼剖析。這三門(mén)課的前兩門(mén)我已經(jīng)在慕課網(wǎng)推出，受到了廣泛好評(píng)，而第三門(mén)則以圖書(shū)的形式推出，本書(shū)也就與大家見(jiàn)面了。當(dāng)然，WebRTC源碼十分龐雜，想通過(guò)一本書(shū)將其講清楚是不現(xiàn)實(shí)的，所以這本書(shū)的推出既是我制定的WebRTC三部曲計(jì)劃的終點(diǎn)，也是后面深入分析WebRTC源碼的起點(diǎn)，而我的終極目標(biāo)是將WebRTC剖析透徹，讓更多的人可以更好地利用WebRTC做出更優(yōu)秀的產(chǎn)品。

【本書(shū)分為三部分，共13章】

第①部分，第1～3章，主要介紹WebRTC的由來(lái)，為什么要選擇WebRTC，以及實(shí)時(shí)音視頻通信的本質(zhì)是什么。

其中第3章為關(guān)鍵，只有了解了音視頻實(shí)時(shí)通信的本質(zhì)，你才能知道音視頻實(shí)時(shí)通信要解決什么問(wèn)題，然后才能知道如何解決這些問(wèn)題，從而理解WebRTC為什么要這樣做。

第②部分，第4～10章，循序漸進(jìn)地向你講解WebRTC的理論和實(shí)戰(zhàn)。

第4章介紹了一個(gè)簡(jiǎn)單的WebRTC信令服務(wù)器該如何構(gòu)建，

第5章介紹了如何通過(guò)瀏覽器實(shí)現(xiàn)一對(duì)一通信，通過(guò)這兩章你就可以搭建出一個(gè)WebRTC一對(duì)一實(shí)時(shí)通信系統(tǒng)了。

第6章介紹了WebRTC底層是如何傳輸音視頻數(shù)據(jù)的，重點(diǎn)是如何進(jìn)行NAT穿越；

第7章詳述了WebRTC媒體協(xié)商使用的SDP各字段的含義。需要說(shuō)明的是，SDP中的每個(gè)字段你都需要牢記在心，這樣才能為后續(xù)閱讀WebRTC代碼掃清障礙。

第8章介紹如何通過(guò)移動(dòng)端（Android、iOS）Native的方式實(shí)現(xiàn)一對(duì)一通信，讀完本章內(nèi)容后，將能實(shí)現(xiàn)Web端與移動(dòng)端的互聯(lián)互通；

第9章介紹了WebRTC底層的傳輸協(xié)議RTP/RTCP，這部分內(nèi)容是每個(gè)從事實(shí)時(shí)通信工作的讀者必須掌握的；

第10章介紹了WebRTC的兩種擁塞控制算法，詳細(xì)介紹了WebRTC為什么終選擇Transport-CC作為默認(rèn)擁塞控制算法。

第③部分，第11～13章。

第11章介紹了編譯WebRTC源碼庫(kù)的方法，對(duì)于大多數(shù)剛?cè)腴T(mén)的讀者來(lái)說(shuō)，學(xué)習(xí)WebRTC的道門(mén)檻便是如何編譯WebRTC，通過(guò)對(duì)該章的學(xué)習(xí)，相信你一定可以順利地將WebRTC庫(kù)編譯出來(lái)；

第12章對(duì)WebRTC的peerconnect_client例子做了深入剖析，這個(gè)例子可以說(shuō)是我們學(xué)習(xí)WebRTC源碼的必經(jīng)之路，這一章你一定要多花些時(shí)間將其全部掌握；

第13章是對(duì)WebRTC源碼的整體架構(gòu)和運(yùn)轉(zhuǎn)流程的詳細(xì)分析，也是本書(shū)難的部分，將這章了解清楚后，你就知道WebRTC是如何運(yùn)轉(zhuǎn)的了。

【推薦序】

2021年1月29日，WebRTC正式成為W3C和IETF標(biāo)準(zhǔn)。自2011年Google宣布WebRTC開(kāi)源，已經(jīng)十年了。記得2011年10月，我約了當(dāng)時(shí)還在VisualOn的劉華平和華平科技的劉睿在上海討論基于WebRTC創(chuàng)業(yè)計(jì)劃。

WebRTC的前身是GIPS（GlobalIPSolutions）。GIPS早全名叫作GlobalIPSound，是和SpritDSP一樣的終端語(yǔ)音通信解決方案。很多運(yùn)營(yíng)商都使用了GIPS或SpritDSP的方案做3G的底層通話SDK。GIPS的突出特點(diǎn)是包括編解碼、回聲消除、降噪等3A算法。GIPS團(tuán)隊(duì)中也不乏大師，比如KenVos、BastiaanKleijn。KenVos（也是后來(lái)發(fā)明SILK的科學(xué)家）的iLBC和iSAC編碼器（2000年后基于FFT的語(yǔ)音編碼器）都開(kāi)創(chuàng)了編解碼考慮網(wǎng)絡(luò)丟包影響的先河。發(fā)明回聲消除動(dòng)態(tài)延時(shí)估計(jì)算法的BastiaanKleijn大師的論文一直被后來(lái)的工程師膜拜，它從根本上解決了延時(shí)估計(jì)的問(wèn)題。GIPS后期開(kāi)始做視頻通信SDK方案，所以也把全名由GlobalIPSound改成了GlobalIPSolutions。但星光閃耀的GIPS在商業(yè)上不算成功，后在2011年以不到7000萬(wàn)美元的價(jià)格賣給了Google。而同年5月，微軟收購(gòu)?fù)瑯蛹夹g(shù)領(lǐng)先的Skype時(shí)花費(fèi)了85億美元。

如果把端到端通信互動(dòng)技術(shù)分解一下，會(huì)發(fā)現(xiàn)其中有幾個(gè)技術(shù)難點(diǎn)：客戶端技術(shù)、服務(wù)器技術(shù)、全球設(shè)備網(wǎng)絡(luò)適配技術(shù)和通信互動(dòng)質(zhì)量監(jiān)控與展示技術(shù)。在被收購(gòu)時(shí)，GIPS更像一個(gè)完整的客戶端解決方案。所以后期Google的開(kāi)發(fā)者在里面增加了P2P通信技術(shù)和一些簡(jiǎn)單的互聯(lián)互通協(xié)議，以及基于Web展示的質(zhì)量監(jiān)控，使整個(gè)方案逐漸完整起來(lái)。

李超先生擁有十多年的實(shí)時(shí)音視頻研發(fā)經(jīng)驗(yàn)，曾帶領(lǐng)團(tuán)隊(duì)研發(fā)過(guò)多個(gè)直播平臺(tái)，先后任職滬江網(wǎng)高級(jí)架構(gòu)師、新東方音視頻技術(shù)專家。這本書(shū)從代碼出發(fā)，詳細(xì)介紹了如何使用WebRTC搭建一對(duì)一通信服務(wù)，并對(duì)內(nèi)部的協(xié)議、擁塞控制技術(shù)和交互邏輯也做了詳細(xì)的剖析，是一本難得的WebRTC開(kāi)發(fā)書(shū)籍。

十年彈指一揮間，一本書(shū)囊括了李超先生多年的經(jīng)驗(yàn)總結(jié)。很榮幸能為李超先生的作品作序。

聲網(wǎng) Agora 技術(shù) VP & 合伙人，高澤華