前言
第1章 概論
1.1 信息論的基本內(nèi)容--信息理論所關(guān)注的信息特征
1.2 信息論簡史
1.3 關(guān)于控制論、信息論與系統(tǒng)論
1.4 信息論的應(yīng)用
1.5 有關(guān)的常用不等式
習(xí)題1


第2章 信息的度量與熵
2.1 自信息
2.2 熵、條件熵、聯(lián)合熵及其性質(zhì)
2.3 互信息與相對熵
2.4 凸函數(shù)與熵的凸性
2.5 微分熵
2. 5.1 連續(xù)信源的微分熵.
2.5.2 聯(lián)合微分熵、條件微分熵
2.5.3 連續(xù)信源的相對熵與互信息
2.5.4 具有最大微分熵的連續(xù)信源一一最大熵原理
2.5.5 信息功率
習(xí)題2


第3章 隨機過程的信息量與熵率、漸近等分性質(zhì)
3.1 隨機過程的基本概念
3.2 熵率
3.3 冗余度與相對冗余度
3.4 數(shù)據(jù)處理不等式
3.5 平穩(wěn)Gauss隨機過程的熵率
3.6 漸近等分性質(zhì)
3.7 漸近等分性質(zhì)在數(shù)據(jù)壓縮中的應(yīng)用--信源編碼定理
3.7.1 無記憶信源的等長編碼定理
3.7.2 一般離散信源的等長編碼定理
習(xí)題3


第4章 信源編碼
4.1 等長編碼
4.2 變長編碼
4.2.1 Kraft不等式
4.2.2 離散信源的變長編碼定理
4.3 Huffman編碼
4.4 算術(shù)碼
4.4.1 Shannon碼
4.4.2 Shannon-Fano-Elias碼
4.4.3 算術(shù)碼
4.5 通用信源編碼-LZ碼
習(xí)題4


第5章 通信信道與信道容量
5.1 離散無記憶信道與信道容量
5.2 信道容量的計算
5. 2.1 按定義計算的方法
5.2.2 拉格朗日乘子法
5.2.3 特征方程法
……
第6章 信息幾何學(xué)