本書系統(tǒng)介紹了聲音信號(hào)處理的背景知識(shí)、發(fā)展歷史以及研究現(xiàn)狀與趨勢(shì)，并詳細(xì)闡述了基礎(chǔ)原理、處理方法、實(shí)踐應(yīng)用、新成果與新技術(shù)。 全書共9章。第1章緒論，第2章聲音信號(hào)簡(jiǎn)介，第3章短時(shí)時(shí)域處理技術(shù)，第4章短時(shí)傅里葉變換，第5章聲音信號(hào)的線性預(yù)測(cè)，第6章語(yǔ)音編碼，第7章聲音合成與轉(zhuǎn)換，第8章語(yǔ)音識(shí)別，第9章基于深度學(xué)習(xí)技術(shù)的聲音技術(shù)應(yīng)用。 本書體系完整，結(jié)構(gòu)嚴(yán)謹(jǐn)，系統(tǒng)性強(qiáng)，原理闡述透徹，聯(lián)系實(shí)際應(yīng)用，凸顯理論與實(shí)踐結(jié)合，包含豐富的實(shí)踐案例。本書可作為高等院校信號(hào)與信息處理、通信與電子工程、模式識(shí)別與人工智能等專業(yè)高年級(jí)本科生及研究生教材，也可供該領(lǐng)域的科研及工程技術(shù)人員參考。

應(yīng)娜，杭州電子科技大學(xué)通信工程學(xué)院副院長(zhǎng)。負(fù)責(zé)通信工程學(xué)院教學(xué)工作，國(guó)家一流專業(yè)"通信工程專業(yè)”的負(fù)責(zé)人。負(fù)責(zé)《信息論與編碼》、《隨機(jī)信號(hào)原理》、《語(yǔ)音信號(hào)處理》、《認(rèn)識(shí)實(shí)習(xí)》、《綜合創(chuàng)新實(shí)踐1/2/3》等課程。負(fù)責(zé)省級(jí)校企培養(yǎng)基地2項(xiàng)；負(fù)責(zé)省級(jí)一流課程2門；主持校級(jí)課程教改3項(xiàng)和核心課程建設(shè)1項(xiàng)；指導(dǎo)學(xué)生獲得國(guó)家級(jí)、省級(jí)競(jìng)賽獲獎(jiǎng)多項(xiàng)，獲得大唐杯、研究生電子設(shè)計(jì)大賽等優(yōu)秀指導(dǎo)教師多項(xiàng)；獲得校級(jí)優(yōu)秀班主任、優(yōu)秀指導(dǎo)教師多次。該教材獲批浙江省普通本科高校"十四五”重點(diǎn)教材建設(shè)項(xiàng)目。

目 錄
第1章 緒論 1
1.1 聲音信號(hào)處理的研究?jī)?nèi)容 1
1.2 聲音信號(hào)處理的發(fā)展歷史 2
1.2.1 語(yǔ)音編碼算法的發(fā)展歷史 3
1.2.2 語(yǔ)音識(shí)別算法的發(fā)展歷史 4
1.2.3 語(yǔ)音去噪及增強(qiáng)算法的發(fā)展歷史 5
1.2.4 語(yǔ)音合成轉(zhuǎn)換等其他算法的發(fā)展歷史 7
1.2.5 基于語(yǔ)音和視覺信息的多模態(tài)融合方法 11
1.3 聲音效果評(píng)價(jià) 14
1.3.1 主觀評(píng)價(jià)方法 14
1.3.2 客觀評(píng)價(jià)方法 15
練習(xí)題 16
第2章 聲音信號(hào)簡(jiǎn)介 17
2.1 人類語(yǔ)音信號(hào)的產(chǎn)生 17
2.2 語(yǔ)音信號(hào)的基本特征 18
2.3 聲音的特征提取 19
2.3.1 手工聲音特征 19
2.3.2 深度語(yǔ)音情感特征 19
2.4 人類的聽覺感知 20
2.5 語(yǔ)音數(shù)據(jù)庫(kù) 22
2.5.1 語(yǔ)音識(shí)別數(shù)據(jù)集 22
2.5.2 語(yǔ)音情感數(shù)據(jù)庫(kù) 23
2.5.3 多模態(tài)情感數(shù)據(jù)集 24
練習(xí)題 26
第3章 短時(shí)時(shí)域處理技術(shù) 27
3.1 語(yǔ)音信號(hào)的短時(shí)處理方法 27
3.1.1 語(yǔ)音端點(diǎn)檢測(cè) 27
3.1.2 預(yù)加重 28
3.1.3 分幀與加窗 28
3.2 短時(shí)能量和短時(shí)平均幅度 30
3.3 短時(shí)過零率 33
3.4 短時(shí)自相關(guān)函數(shù) 35
3.5 短時(shí)時(shí)域處理技術(shù)案例：基音提取 35
3.5.1 基音檢測(cè)估計(jì)方法1：三電平削波法 36
3.5.2 基音檢測(cè)估計(jì)方法2：SHR諧波檢測(cè)法 40
練習(xí)題 42
第4章 短時(shí)傅里葉變換 44
4.1 短時(shí)傅里葉變換的定義 44
4.2 短時(shí)傅里葉變換的理解 45
4.3 短時(shí)傅里葉變換的實(shí)現(xiàn) 49
4.4 語(yǔ)音短時(shí)傅里葉變換的應(yīng)用案例 50
4.4.1 梅爾頻率倒譜系數(shù)的提取和應(yīng)用 50
4.4.2 聲音去噪算法的實(shí)現(xiàn) 57
4.4.3 聲音信號(hào)熵的提取應(yīng)用 62
練習(xí)題 69
第5章 聲音信號(hào)的線性預(yù)測(cè)編碼 70
5.1 線性預(yù)測(cè)基本原理 70
5.2 線性預(yù)測(cè)的解析算法 73
5.3 線性預(yù)測(cè)的應(yīng)用案例 76
5.3.1 基音檢測(cè)估計(jì) 77
5.3.2 共振峰估計(jì) 81
練習(xí)題 85
第6章 語(yǔ)音編碼 86
6.1 脈沖編碼調(diào)制 87
6.1.1 均勻量化脈沖編碼調(diào)制 87
6.1.2 非均勻量化脈沖編碼調(diào)制 87
6.1.3 自適應(yīng)量化脈沖編碼調(diào)制 88
6.2 差分脈沖編碼 89
6.2.1 差分脈沖編碼原理 89
6.2.2 自適應(yīng)差分脈沖編碼 91
6.3 增量調(diào)制 95
6.3.1 增量調(diào)制原理 95
6.3.2 自適應(yīng)增量調(diào)制原理 95
6.4 基于線性預(yù)測(cè)編碼的聲碼器 96
6.4.1 LPC-10聲碼器 96
6.4.2 碼激勵(lì)線性預(yù)測(cè)編碼 102
練習(xí)題 107
第7章 聲音合成與轉(zhuǎn)換 109
7.1 語(yǔ)音合成方法 109
7.1.1 參數(shù)合成方法 110
7.1.2 波形合成方法 115
7.2 漢語(yǔ)基于音節(jié)的規(guī)則合成方法 120
7.2.1 韻律規(guī)則合成 121
7.2.2 多音節(jié)協(xié)同發(fā)音規(guī)則合成 129
7.2.3 輕聲音節(jié)規(guī)則合成 130
7.3 語(yǔ)音轉(zhuǎn)換方法 131
7.3.1 語(yǔ)音轉(zhuǎn)換系統(tǒng)的總體框架 131
7.3.2 語(yǔ)音轉(zhuǎn)換常見的特征參數(shù) 132
7.4 語(yǔ)音轉(zhuǎn)換評(píng)價(jià)指標(biāo) 134
7.4.1 客觀評(píng)價(jià) 135
7.4.2 主觀評(píng)價(jià) 135
7.5 語(yǔ)音轉(zhuǎn)換應(yīng)用案例 136
7.5.1 平行語(yǔ)音轉(zhuǎn)換方法 136
7.6 非平行語(yǔ)音轉(zhuǎn)換應(yīng)用案例 139
7.6.1 循環(huán)生成對(duì)抗網(wǎng)絡(luò) 139
7.6.2 星型生成對(duì)抗網(wǎng)絡(luò) 140
7.6.3 變分自動(dòng)編碼器 141
7.6.4 自適應(yīng)實(shí)例規(guī)范化 141
7.6.5 激活引導(dǎo)和自適應(yīng)實(shí)例歸一化 142
練習(xí)題 150
第8章 語(yǔ)音識(shí)別 151
8.1 采用矢量量化的說話人識(shí)別 151
8.1.1 矢量量化的原理 151
8.1.2 矢量量化的訓(xùn)練 152
8.1.3 矢量量化說話人識(shí)別的實(shí)現(xiàn) 153
8.2 采用動(dòng)態(tài)時(shí)間規(guī)整的孤立詞識(shí)別 154
8.3 基于隱馬爾可夫模型的語(yǔ)音（語(yǔ)句）識(shí)別 159
8.3.1 HMM模型 159
8.3.2 HMM的概率求解 161
8.3.3 HMM的解碼 164
8.3.4 HMM的訓(xùn)練 166
8.3.5 HMM-GMM模型 171
8.3.6 基于HMM的語(yǔ)音識(shí)別應(yīng)用案例 173
練習(xí)題 180
第9章 基于深度學(xué)習(xí)模型的聲音技術(shù)應(yīng)用 183
9.1 深度學(xué)習(xí)網(wǎng)絡(luò)基礎(chǔ) 183
9.1.1 深度學(xué)習(xí)網(wǎng)絡(luò)基本結(jié)構(gòu) 183
9.1.2 深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練 185
9.1.3 卷積神經(jīng)網(wǎng)絡(luò) 187
9.1.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 191
9.1.5 注意力機(jī)制 197
9.2 基于深度學(xué)習(xí)的聲音去噪算法 198
9.2.1 基于深度神經(jīng)網(wǎng)絡(luò)幅度譜估計(jì)的深度學(xué)習(xí)聲音去噪算法 198
9.2.2 基于多尺度時(shí)頻卷積網(wǎng)絡(luò)的多通道聲音去噪 201
9.3 基于深度學(xué)習(xí)的語(yǔ)音識(shí)別應(yīng)用案例 205
9.3.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)-連續(xù)時(shí)序分類的語(yǔ)音識(shí)別 206
9.3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別 209
9.3.3 基于Transformer的語(yǔ)音識(shí)別 211
9.4 基于ResNet的語(yǔ)音情感識(shí)別應(yīng)用案例 220
9.5 聲音與呼吸信號(hào)聯(lián)合識(shí)別應(yīng)用案例 225
9.6 聲音與人臉聯(lián)合識(shí)別應(yīng)用案例 228
練習(xí)題 231
參考文獻(xiàn) 232