第1章緒論

1.1　信息的基本概念

1.1.1　信息論的產(chǎn)生

1.1.2　信息的基本概念

1.2　香農(nóng)信息論研究的內(nèi)容

1.2.1　通信系統(tǒng)模型

1.2.2　香農(nóng)信息論的主要內(nèi)容

1.3　香農(nóng)信息論研究的進(jìn)展與應(yīng)用

　1.3.1 香農(nóng)信息論創(chuàng)立的背景

1.3.2　香農(nóng)的主要貢獻(xiàn)

1.3.3　香農(nóng)信息論研究進(jìn)展

1.3.4　香農(nóng)信息論的應(yīng)用

思考題

第2章　離散信息的度量

2.1　自信息和互信息

　2.1.1 自信息

　2.1.2 互信息

2.2　信息熵的基本概念

　2.2.1 信息熵

　2.2.2聯(lián)合熵與條件熵

　2.2.3 相對(duì)熵

　2.2.4 各類熵之間的關(guān)系

2.3　信息熵的基本性質(zhì)

　2.3.1 凸函數(shù)及其性質(zhì)

　2.3.2熵的基本性質(zhì)

2.3.3熵函數(shù)的唯一性

2.3.4　有根概率樹與熵的計(jì)算

2.4　平均互信息

　2.4.1 平均互信息的定義

　2.4.2 平均互信息的性質(zhì)

　2.4.3 平均條件互信息

本章小結(jié)

思考題

習(xí)題

第3章　離散信源

3.1　離散信源的分類與數(shù)學(xué)模型

3.1.1　離散信源的分類

3.1.2離散無記憶信源數(shù)學(xué)模型

3.1.3離散有記憶信源數(shù)學(xué)模型

3.1.4離散平穩(wěn)信源數(shù)學(xué)模型

3.2　離散無記憶信源的擴(kuò)展

3.2.1　等長(zhǎng)消息擴(kuò)展

3.2.2　變長(zhǎng)消息擴(kuò)展

3.3　離散平穩(wěn)信源的熵

　3.3.1單符號(hào)信源的熵

3.3.2等長(zhǎng)無記憶擴(kuò)展源的熵

3.3.3變長(zhǎng)無記憶擴(kuò)展源的熵

3.3.4平穩(wěn)有記憶信源的熵

3.4　有限狀態(tài)馬爾可夫鏈

3.4.2　馬氏鏈的基本概念

3.4.2　齊次馬氏鏈

3.4.3馬氏鏈狀態(tài)分類

3.4.4　馬氏鏈的平穩(wěn)分布

3.5　馬爾可夫信源

　3.5.1 馬氏源的基本概念

3.5.2　馬氏源的產(chǎn)生模型

3.5.3　馬氏鏈N次擴(kuò)展源熵的計(jì)算

3.5.4　馬氏源符號(hào)熵的計(jì)算

3.6　信源的相關(guān)性與剩余度

3.6.1　信源的相關(guān)性

3.6.2信源的剩余度

3.6.3　文本信源

本章小結(jié)

思考題

習(xí)題

第4章　連續(xù)信息與連續(xù)信源

4.1　連續(xù)隨機(jī)變量的熵

4.1.1連續(xù)隨機(jī)變量的離散化

4.1.2連續(xù)隨機(jī)變量的熵

4.1.3連續(xù)隨機(jī)變量差熵的性質(zhì)

4.1.4連續(xù)隨機(jī)變量集的相對(duì)