本書主要介紹基于AI的虛擬主播的起源、現(xiàn)狀、發(fā)展、未來(lái),以及虛擬主播的技術(shù)理論與實(shí)現(xiàn)路徑。全書分4篇,共9章,內(nèi)容包括虛擬人、虛擬主播、AI與虛擬人、相關(guān)技術(shù)介紹、3D模型制作、語(yǔ)音合成、多模態(tài)融合、虛擬主播的動(dòng)作實(shí)現(xiàn)和虛擬主播的未來(lái)展望。其中還涉及Daz Studio、Maya、Premiere Pro等軟件的使用方法。本書可作為高等院校智能科學(xué)與技術(shù)、虛擬現(xiàn)實(shí)、數(shù)字媒體等專業(yè)虛擬人相關(guān)課程的教材,也可供對(duì)虛擬人和虛擬主播技術(shù)感興趣的人員參考。
何加亮,大連民族大學(xué)副教授,碩士生導(dǎo)師(大連民族大學(xué)、魯迅美術(shù)學(xué)院),本、碩、博畢業(yè)于吉林大學(xué)計(jì)算機(jī)學(xué)院,研究方向?yàn)槿斯ぶ悄芎吞摂M現(xiàn)實(shí)技術(shù)在數(shù)字設(shè)計(jì)中的應(yīng)用。發(fā)表學(xué)術(shù)論文70多篇(其中50余篇為SCI或EI檢索;其中第一作者發(fā)表SCI論文IF累計(jì)超過(guò)30,TOP期刊3篇);主持。ú浚┘(jí)教學(xué)或科研項(xiàng)目16項(xiàng)。
介 紹 篇
第1章 虛擬人 2
1.1 關(guān)于“虛擬人” 2
1.2 虛擬人的市場(chǎng) 4
1.3 虛擬數(shù)字人的應(yīng)用 8
第2章 虛擬主播 14
2.1 主播是什么樣的職業(yè) 14
2.1.1 主播及其職能 14
2.1.2 行業(yè)中的不同主播 14
2.1.3 傳統(tǒng)主播及其主體地位 15
2.2 虛擬主播的優(yōu)勢(shì) 17
2.3 虛擬主播“出道” 18
第3章 AI與虛擬人 21
3.1 虛擬人的AI技術(shù) 21
3.1.1 三次AI熱潮 21
3.1.2 虛擬人的AI技術(shù)框架 22
3.1.3 虛擬人的相關(guān)AI技術(shù) 23
3.2 AI技術(shù)在虛擬人領(lǐng)域的應(yīng)用 25
技 術(shù) 篇
第4章 相關(guān)技術(shù)介紹 28
4.1 三維重建 28
4.1.1 三維重建的定義 28
4.1.2 三維人臉重建技術(shù)的發(fā)展歷程 29
4.1.3 三維人臉重建技術(shù)的應(yīng)用 33
4.2 自然語(yǔ)言處理技術(shù)與語(yǔ)音合成技術(shù) 36
4.2.1 自然語(yǔ)言處理技術(shù) 36
4.2.2 語(yǔ)音合成技術(shù) 38
4.2.3 唇形動(dòng)畫驅(qū)動(dòng)技術(shù) 40
4.2.4 人臉表情合成技術(shù) 43
4.3 多模態(tài)融合技術(shù) 47
4.3.1 多模態(tài)融合的概念 47
4.3.2 多模態(tài)融合的方式 47
4.3.3 多模態(tài)融合的應(yīng)用 49
實(shí) 踐 篇
第5章 3D模型制作 52
5.1 基于單張照片的3D人臉重建 52
5.1.1 初識(shí)FaceGen 52
5.1.2 FaceGen的使用 57
5.1.3 3D人臉模型重建的方法 61
5.2 真人版3D人物模型制作 66
5.2.1 初識(shí)DAZ Studio 66
5.2.2 DAZ Studio的安裝 75
5.2.3 DAZ Studio的使用 82
5.2.4 生成真人版3D人物模型 91
第6章 語(yǔ)音合成 101
6.1 語(yǔ)音合成的實(shí)現(xiàn) 101
6.1.1 阿里云智能語(yǔ)音交互平臺(tái)的使用 101
6.1.2 實(shí)現(xiàn)真人版語(yǔ)音輸出 105
6.2 實(shí)現(xiàn)口型動(dòng)畫 106
6.2.1 初識(shí)Maya 106
6.2.2 Maya的使用 110
6.2.3 實(shí)現(xiàn)真人版口型動(dòng)畫 117
第7章 多模態(tài)融合 125
7.1 多模態(tài)融合及實(shí)現(xiàn)軟件 125
7.1.1 虛擬主播的多模態(tài)融合 125
7.1.2 多模態(tài)融合的實(shí)現(xiàn)軟件 126
7.2 Premiere Pro的使用 127
7.3 實(shí)現(xiàn)虛擬主播新聞播報(bào) 134
第8章 虛擬主播的動(dòng)作實(shí)現(xiàn) 138
8.1 動(dòng)作捕捉技術(shù) 138
8.1.1 動(dòng)作捕捉技術(shù)的定義 138
8.1.2 動(dòng)作捕捉技術(shù)的分類 139
8.1.3 動(dòng)作捕捉技術(shù)的應(yīng)用 145
8.2 基于動(dòng)作捕捉設(shè)備的動(dòng)作實(shí)現(xiàn) 147
8.2.1 技術(shù)路線概述 147
8.2.2 動(dòng)作捕捉設(shè)備與實(shí)現(xiàn)方法 147
8.3 基于單目攝像頭的動(dòng)作實(shí)現(xiàn) 150
8.3.1 技術(shù)路線概述 150
8.3.2 核心技術(shù)介紹 150
8.3.3 基于單目攝像頭的動(dòng)作實(shí)現(xiàn)方法 152
展 望 篇
第9章 虛擬主播的未來(lái)展望 162
9.1 虛擬主播的不足 162
9.2 虛擬主播的未來(lái)發(fā)展 163
9.2.1 虛擬主播面臨的挑戰(zhàn) 163
9.2.2 虛擬主播的發(fā)展前景 165
參考文獻(xiàn) 169