本書系統(tǒng)地講述了信息論與編碼論的基礎(chǔ)理論與技術(shù)。其內(nèi)容包括信息及信息的度量、信道及其容量、無失真信源編碼、率失真理論與有失真信源編碼、信道編碼與信道編碼定理、線性分組碼、循環(huán)碼、卷積碼、Turbo碼等。本書還介紹了編碼技術(shù)在通信工程實踐中的應(yīng)用。
本書內(nèi)容豐富,取材經(jīng)典、新穎,概念清楚,文字通俗,深入淺出,各章后面配有大量習(xí)題。可作為高等院校信息安全、通信工程、信息工程、電子工程、計算機(jī)等專業(yè)本科生的教材,也可作為相關(guān)專業(yè)科技人員的參考書。
《信息論與編碼理論》內(nèi)容豐富,取材經(jīng)典、新穎,概念清楚,文字通俗,深入淺出,各章后面配有大量習(xí)題。可作為高等院校信息安全、通信工程、信息工程、電子工程、計算機(jī)等專業(yè)本科生的教材,也可作為相關(guān)專業(yè)科技人員的參考書。
《信息與編碼理論》是信息、通信、電子工程類專業(yè)的重要基礎(chǔ)課程。
本書系統(tǒng)地講述了信息論與編碼論的基礎(chǔ)理論與技術(shù),同時還介紹了編碼技術(shù)在通信工程實踐中的應(yīng)用。
本書共有10章。第1章緒論,介紹了通信系統(tǒng)模型、信息論與編碼理論的形成、發(fā)展與應(yīng)用。第2章信息與信息的度量,介紹了信源的數(shù)學(xué)模型、離散信源的熵、連續(xù)信源的微分熵、信源的冗余度。第3章信道容量,介紹了信道模型、離散無記憶信道容量、連續(xù)無記憶信道的容量。第4章無失真信源編碼,介紹了無失真信源編碼的概念、變長編碼定理、常用變長編碼算法與應(yīng)用。第5章信息率失真函數(shù)與有失真信源編碼,介紹了信息率失真函數(shù)與平均失真的概念、限失真信源編碼定理、有失真信源編碼算法與應(yīng)用。第6章信道編碼概述,介紹了信道差錯概率、信道編碼概念、信道譯碼準(zhǔn)則、碼的檢錯與糾錯能力、信道編碼定理。第7章線性分組碼,介紹了線性分組碼的概念、性質(zhì)、編碼與譯碼。第8章循環(huán)碼,介紹了循環(huán)碼的概念、性質(zhì)、編碼與譯碼。第9章卷積碼,介紹了卷積碼的概念、性質(zhì)、編碼與譯碼。第10章Turbo碼,介紹了Turbo碼的編碼、譯碼與性能。
本書內(nèi)容豐富,取材經(jīng)典、新穎,概念清楚,文字通俗,深入淺出,各章后面配有大量習(xí)題。適合作為高等院校信息安全、通信工程、信息工程、電子工程、計算機(jī)等專業(yè)本科生的教材。
第1章 緒論
1.1 通信系統(tǒng)模型
1.2 信息論與編碼理論的主要內(nèi)容
1.3 信息論與編碼理論的形成與發(fā)展
1.4 信息論與編碼理論的應(yīng)用
第2章 信息與信息的度量
2.1 信源的數(shù)學(xué)模型及分類
2.1.1 信源輸出的消息由隨機(jī)變量描述
2.1.2 信源輸出的消息由隨機(jī)矢量描述
2.2 離散信源的信息熵
2.2.1 隨機(jī)事件的自信息
2.2.2 離散信源的熵
2.2.3 熵的基本性質(zhì)
2.2.4 數(shù)據(jù)處理中信息的變化
2.3 離散信源序列的熵
2.3.1 無記憶信源序列的熵
2.3.2 有記憶信源序列的熵
2.4 連續(xù)信源的互信息和微分熵
2.4.1 連續(xù)信源的數(shù)學(xué)模型
2.4.2 連續(xù)信源的微分熵與互信息
2.4.3 波形信源的微分熵
2.4.4 微分熵的極值化
2.5 信源的冗余度
習(xí)題2
第3章 信道容量
3.1 信道基本概念
3.1.1 信道分類
3.1.2 信道模型
3.1.3 幾種無記憶信道
3.2 離散無記憶信道容量
3.2.1 信道容量的定義
3.2.2 DMC容量定理
3.2.3 對稱DMC容量的計算
3.2.4 準(zhǔn)對稱DMC容量的計算
3.2.5 一般DMC容量的計算方法
3.3 組合信道的容量
3.3.1 級聯(lián)信道的容量
3.3.2 并聯(lián)信道的容量
3.4 連續(xù)無記憶信道的容量
3.4.1 加性高斯噪聲信道的容量
3.4.2 多維無記憶加性高斯噪聲信道的容量
3.5 波形信道的容量
習(xí)題3
第4章 無失真信源編碼
4.1 無失真信源編碼的概念
4.2 等長編碼
4.3 變長編碼
4.3.1 變長編碼的唯一可譯性
4.3.2 Kraft不等式
4.3.3 變長編碼定理
4.4 常用的變長編碼算法
4.4.1 仙農(nóng)編碼
4.4.2 費(fèi)諾編碼
4.4.3 霍夫曼編碼
4.4.4 算術(shù)編碼
4.4.5 游程編碼
4.4.6 字典編碼
4.5 無失真信源編碼的應(yīng)用
4.5.1 三類傳真機(jī)的修正霍夫曼編碼
4.5.2 靜止圖像的無失真編碼
習(xí)題4
第5章 信息率失真函數(shù)與有失真信源編碼
5.1 信息率失真函數(shù)
5.1.1 失真函數(shù)與平均失真
5.1.2 信息率失真函數(shù)
5.1.3 率失真函數(shù)的性質(zhì)
5.2 限失真信源編碼定理
5.3 率失真函數(shù)的計算
5.3.1 R(D)參量表示法求解
5.3.2 R(D)的迭代計算方法
5.4 有失真信源編碼
5.4.1 R(D)與信息價值
5.4.2 數(shù)字圖像壓縮編碼方法
5.4.3 數(shù)字音頻信號壓縮編碼方法
習(xí)題5
第6章 信道編碼概述
6.1 信道差錯概率
6.1.1 隨機(jī)差錯信道
6.1.2 突發(fā)差錯信道
6.2 信道編碼概念
6.3 信道譯碼準(zhǔn)則
6.3.1 最小錯誤概率譯碼
6.3.2 最大似然譯碼
6.3.3 最小漢明距離譯碼
6.4 碼的檢錯與糾錯能力
6.5 信道編碼定理
習(xí)題6
第7章 線性分組碼
7.1 線性分組碼概念
7.2 線性分組碼的生成矩陣
7.3 線性分組碼的校驗矩陣
7.4 線性分組碼的最小漢明重量
7.5 線性分組碼的譯碼
7.6 完備碼
7.7 漢明碼
7.8 其他線性分組碼
7.8.1 Hadamard碼
7.8.2 olay碼
習(xí)題7
第8章 循環(huán)碼
8.1 循環(huán)碼的基本概念
8.1.1 循環(huán)碼的定義和基本性質(zhì)
8.1.2 循環(huán)碼的多項式描述
8.1.3 系統(tǒng)循環(huán)碼
8.2 循環(huán)碼的編碼和譯碼
8.2.1 循環(huán)碼的編碼
8.2.2 循環(huán)碼的譯碼
8.3 循環(huán)碼的檢錯和糾錯性能
8.3.1 循環(huán)碼的檢錯性能
8.3.2 糾正突發(fā)錯誤性能
8.4 循環(huán)碼的兩個重要子類
8.4.1 BCH碼
8.4.2 Reed-Solomon(RS)碼
習(xí)題8
第9章 卷積碼
9.1 卷積碼的基本概念
9.2 卷積碼的描述
9.2.1 卷積碼的生成矩陣表示法
9.2.2 卷積碼的多項式及轉(zhuǎn)移函數(shù)矩陣表示法
9.2.3 卷積碼的編碼矩陣和狀態(tài)流圖
9.2.4 卷積碼的網(wǎng)格圖
9.3 卷積碼的譯碼算法
9.3.1 卷積碼的最大似然譯碼
9.3.2 二進(jìn)制對稱信道的硬判決維特比譯碼
9.3.3 軟判決的維特比譯碼
9.3.4 維特比譯碼的性能限
9.4 卷積碼的應(yīng)用
習(xí)題9
第10章 Turbo碼
10.1 Turbo編碼
10.1.1 遞歸卷積編碼特性
10.1.2 交織特性
10.1.3 刪余與分組歸零處理
10.2 Turbo譯碼
10.2.1 迭代譯碼機(jī)制概述
10.2.2 基于MAP算法的SISO譯碼器
10.2.3 基于Log—MAP算法的SISO譯碼器
10.2.4 Turbo碼迭代譯碼算法
10.3 Turbo碼性能
10.4 小結(jié)
習(xí)題10
參考文獻(xiàn)
按照信道的記憶特性可劃分為無記憶信道和有記憶信道。無記憶信道的當(dāng)前輸出只與當(dāng)前的輸入有關(guān),而與過去的輸入和輸出無關(guān);有記憶信道的當(dāng)前輸出不僅與當(dāng)前的輸入有關(guān),還與過去的輸入和輸出有關(guān)。
根據(jù)信道輸入/輸出信號的特點可分為離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道等。離散信道的輸入/輸出信號在時間和幅度上均離散;連續(xù)信道的輸入/輸出信號在幅度上連續(xù)的、而在時間上離散;半離散半連續(xù)信道的輸入/輸出信號在時間上是離散的,而在幅度上一個離散一個連續(xù),通常是輸入信號的幅度離散,輸出信號的幅度連續(xù);波形信道的輸入/輸出信號在時間上和幅度上均連續(xù)。
3.1.2 信道模型
信號在信道中傳輸時,不可避免地會受到噪聲和干擾的影響,使其通過信道后產(chǎn)生錯誤和失真,導(dǎo)致輸入信號與輸出信號之間并沒有確定的函數(shù)關(guān)系,只存在統(tǒng)計依賴關(guān)系。已知信道的輸入量X、輸出量y、以及它們之間的統(tǒng)計關(guān)系,就可以確定信道的全部特性,因此可以采用如圖3.1所示的信道模型,其中輸入量和輸出量皆為隨機(jī)變量,即隨機(jī)標(biāo)量、隨機(jī)向量或隨機(jī)過程。對于離散無記憶信道,輸入量X和輸出量y之間的統(tǒng)計依賴關(guān)系可用條件概率p(bj,|ai)描述;對于連續(xù)無記憶信道,X和y之間的統(tǒng)計依賴關(guān)系可用條件概率密度函數(shù)p(y|x)描述。