信息论——基础理论与应用(第三版)电子书

前言

第1章 绪论

1.1 信息的概念

1.2 信息论研究的对象、目的和内容

1.3 信息论发展简史与信息科学

第2章 离散信源及其信息测度

2.1 信源的数学模型及分类

2.2 离散信源的信息熵

2.3 信息熵的基本性质

*2.4 信息熵的唯一性定理

2.5 离散无记忆的扩展信源

2.6 离散平稳信源

2.7 马尔可夫信源

2.8 信源剩余度与自然语言的熵

*2.9 意义信息和加权熵

小结

习题

第3章 离散信道及其信道容量

3.1 信道的数学模型及分类

3.2 平均互信息及平均条件互信息

3.3 平均互信息的特性

3.4 信道容量及其一般计算方法

*3.5 信道容量的迭代算法

3.6 离散无记忆扩展信道及其信道容量

3.7 独立并联信道及其信道容量

3.8 串联信道的互信息和数据处理定理

3.9 信源与信道的匹配

小结

习题

第4章 波形信源和波形信道

4.1 波形信源的统计特性和离散化

4.2 连续信源和波形信源的信息测度

4.3 连续信源熵的性质及最大差熵定理

4.4 连续信源熵的变换

4.5 熵功率

4.6 连续信道和波形信道的分类

4.7 连续信道和波形信道的信息传输率

4.8 连续信道和波形信道的信道容量

小结

习题

第5章 无失真信源编码定理

5.1 编码器

5.2 等长码

*5.3 渐近等分割性和ε典型序列

5.4 等长信源编码定理

5.5 变长码

5.6 变长信源编码定理

小结

习题

第6章 有噪信道编码定理

6.1 错误概率和译码规则

6.2 错误概率与编码方法

*6.3 联合ε典型序列

6.4 有噪信道编码定理

6.5 联合信源信道编码定理

小结

习题

第7章 保真度准则下的信源编码

7.1 失真度和平均失真度

7.2 信息率失真函数及其性质

7.3 二元信源和离散对称信源的R（D）函数

7.4 信息率失真函数的参量表述及其计算

*7.5 信息率失真函数的迭代算法

7.6 连续信源的信息率失真函数

7.7 保真度准则下的信源编码定理

7.8 联合有失真信源信道编码定理

7.9 限失真信源编码定理的实用意义

小结

习题

第8章 无失真的信源编码

8.1 霍夫曼（Huffman）码

8.2 费诺（Fano）码

8.3 香农—费诺—埃利斯码

8.4 游程编码和MH编码

8.5 算术编码

8.6 字典码

小结

习题

第9章 信道的纠错编码

9.1 差错控制的基本形式

9.2 纠错码分类及基本概念

9.3 线性分组码

9.4 循环码

9.5 卷积码

小结

习题

第10章 网络信息论

10.1 通信网信道的分类

*10.2 多个随机变量的联合典型序列

10.3 相关信源编码

10.4 多址接入信道

10.5 相关信源和多址接入信道

*10.6 广播信道

*10.7 中继信道

*10.8 具有边信息的信源编码

*10.9 具有边信息的数据压缩

小结

习题

第11章 保密系统的基本信息理论

11.1 保密学的基本概念

11.2 保密系统的数学模型

11.3 古典密码体制

11.4 完全保密性

11.5 理论保密性

11.6 实际保密性

小结

习题

第12章 信息论与其他学科的关系和应用

12.1 信息熵与热力学熵

12.2 信息论与光学

12.3 最大熵原理与谱估计

12.4 信息论与生命科学

小结

附录

附录A 凸函数和詹森不等式

附录B 马尔可夫链

附录C 熵函数的函数表

附录D 所用符号及编写说明

参考书目和文献