目錄
第1章 緒論 1
1.1 信息的基本概念 2
1.2 信息論研究的對象與目的 4
1.2.1 信息論研究的對象 4
1.2.2 信息論研究的目的 6
1.3 信息論研究的內容 7
1.4 信息論與編碼的發(fā)展簡史 8
第2章 信息的度量 11
2.1 自信息和互信息 12
2.1.1 自信息 12
2.1.2 互信息 15
2.2 平均自信息 18
2.2.1 平均自信息的概念 18
2.2.2 平均自信息的性質 23
2.3 平均互信息 28
2.3.1 平均互信息的概念 28
2.3.2 平均互信息的性質 32
習題 38
第3章 信源及信源熵 43
3.1 信源的分類與建模 44
3.2 離散信源的數(shù)學模型 44
3.2.1 單符號離散信源 44
3.2.2 多符號離散信源 45
3.3 離散平穩(wěn)信源 47
3.3.1 離散平穩(wěn)信源的數(shù)學模型 47
3.3.2 二維平穩(wěn)信源的信息熵 48
3.3.3 離散平穩(wěn)信源的極限熵 51
3.4 馬爾可夫信源 54
3.4.1 有限狀態(tài)馬爾可夫信源 55
3.4.2 馬爾可夫信源的極限熵 57
3.5 信源攜帶信息的效率 58
3.6 連續(xù)信源 60
3.6.1 連續(xù)信源的微分熵 61
3.6.2 特殊連續(xù)信源的微分熵 63
3.7 連續(xù)信源微分熵的性質 65
3.7.1 微分熵的性質 65
3.7.2 具有最大微分熵的連續(xù)信源 66
3.7.3 熵功率69
習題 70
第4章 信道及信道容量 75
4.1 信道的分類及數(shù)學模型 76
4.1.1 信道的分類 76
4.1.2 信道的數(shù)學模型 77
4.2 離散信道及信道容量 78
4.2.1 離散無記憶信道 78
4.2.2 信道容量的定義 79
4.2.3 離散無噪無損信道的信道容量 81
4.2.4 離散對稱信道的信道容量 82
4.2.5 準對稱信道的信道容量 85
4.2.6 一般離散信道的信道容量 86
4.3 組合信道及信道容量 91
4.3.1 N次擴展信道 91
4.3.2 獨立并聯(lián)信道 93
4.3.3 級聯(lián)信道 94
4.4 連續(xù)信道的分類及數(shù)學模型 95
4.5 連續(xù)信道的信道容量 97
4.5.1 加性噪聲信道的信道容量 97
4.5.2 高斯加性信道的信道容量 98
4.5.3 非高斯加性信道的信道容量 98
4.6 波形信道的信道容量 100
4.6.1 隨機信號的正交展開 100
4.6.2 高斯白噪聲加性信道 100
4.6.3 限帶高斯加性信道性能極限 102
習題 104
第5章 無失真信源編碼 109
5.1 信源編碼的概念 110
5.1.1 編碼器 110
5.1.2 碼的分類 111
5.1.3 碼樹 113
5.2 定長編碼及定長編碼定理 113
5.3 變長編碼 118
5.3.1 唯一可譯變長碼與前綴碼 118
5.3.2 克拉夫特不等式 120
5.4 變長無失真編碼定理 124
5.4.1 變長編碼的平均碼長 124
5.4.2 香農第一定理 128
5.5 變長信源編碼方法 131
5.5.1 香農編碼 131
5.5.2 霍夫曼編碼 133
5.5.3 費諾編碼 138
習題 139
第6章 限失真信源編碼 143
6.1 信息失真度量 144
6.1.1 失真函數(shù) 144
6.1.2 平均失真度 146
6.2 信息率失真函數(shù) 147
6.2.1 信息率失真函數(shù)的定義 147
6.2.2 信息率失真函數(shù)的性質 148
6.2.3 信息率失真函數(shù)的計算 151
6.3 限失真信源編碼定理 154
習題 156
第7章 信道編碼概述 159
7.1 數(shù)字通信系統(tǒng)模型 160
7.2 信道編碼的概念 161
7.2.1 錯誤概率與譯碼準則 162
7.2.2 錯誤概率與編碼方法 166
7.2.3 漢明距離與碼的糾檢錯能力 171
7.3 信道編碼的基本原理 174
7.3.1 有噪信道編碼定理 174
7.3.2 有限塊長編碼界 176
7.3.3 差錯控制的途徑 178
7.4 編碼性能和編碼增益 179
7.5 差錯控制方式 181
習題 182
第8章 近世代數(shù)基礎 183
8.1 群、環(huán)、域 184
8.1.1 群 184
8.1.2 環(huán) 185
8.1.3 域 186
8.2 有限域與擴域構造 188
8.2.1 多項式域 188
8.2.2 有限域的運算法則 191
8.2.3 多項域分解 194
8.3 向量空間197
習題 199
第9章 線性分組碼 201
9.1 線性分組碼的基本概念 202
9.2 生成矩陣 202
9.3 系統(tǒng)碼 204
9.4 伴隨式與錯誤圖樣 205
9.5 標準陣列譯碼 206
9.6 碼的糾、檢錯能力與MDC碼 210
9.7 完備碼與漢明碼 212
9.7.1 完備碼 212
9.7.2 漢明碼 213
9.7.3 戈萊碼 215
9.8 擴展碼與縮短碼 215
9.8.1 擴展碼 215
9.8.2 縮短碼 216
習題 218
第10章 循環(huán)碼 221
10.1 循環(huán)碼的描述 222
10.1.1 循環(huán)碼的多項式描述 222
10.1.2 循環(huán)碼的矩陣描述 224
10.2 循環(huán)冗余校驗碼 226
10.3 根定義循環(huán)碼 227
10.4 BCH碼和RS碼的構造 230
10.4.1 BCH碼的構造 231
10.4.2 RS碼的構造 232
10.5 BCH碼和RS碼的譯碼 234
10.5.1 BCH碼的譯碼 234
10.5.2 RS碼的譯碼 236
習題 241
第11章 卷積碼 243
11.1 卷積碼的基本概念 244
11.2 卷積碼的編碼結構 244
11.2.1 卷積碼的多項式表示 245
11.2.2 卷積碼的狀態(tài)圖 246
11.2.3 卷積碼的網(wǎng)格圖 248
11.3 卷積碼的特性 249
11.3.1 碼率 249
11.3.2 編碼結尾方式 249
11.3.3 距離特性 252
11.3.4 錯誤概率 257
11.4 卷積碼的譯碼 258
11.4.1 卷積碼的最大似然譯碼 258
11.4.2 維特比譯碼算法259 習題 262
參考文獻 264
附錄數(shù)學預備知識 265
附錄A 凸函數(shù)及詹森不等式 266
附錄B 漸進等同分割性和ε典型序列 268