信息论与编码(第二版)电子书

内容简介

1.1 信息的概念和特性

1.2 熵的概念

1.3 信息论研究的基本问题和主要内容

1.3.1 信息论研究的基本问题

1.3.2 信息论研究的主要内容

1.4 香农简介

1.5 本书结构

1.6 本章小结

2.1 概率论基础

2.1.1 概率空间

2.1.2 随机变量与分布函数

2.1.3 多维随机变量及其分布

2.1.4 数字特征

2.1.5 大数定律与中心极限定理

2.2 马尔可夫链

2.2.1 有限状态马尔可夫链

2.2.2 状态转移概率

2.2.3 齐次马尔可夫链

2.2.4 马尔可夫链的平稳分布

2.3 凸函数

2.4 本章小结

习题

3.1 自信息、条件自信息和联合自信息

3.1.1 自信息

3.1.2 条件自信息

3.1.3 联合自信息

3.2 互信息和信息散度

3.2.1 互信息定义

3.2.2 互信息的性质

3.2.3 条件互信息

3.2.4 信息散度

3.3 离散集合的平均信息量（熵）

3.3.1 信息熵

3.3.2 条件熵

3.3.3 联合熵

3.3.4 熵的基本性质

3.3.5 各类熵的关系

3.3.6 熵函数的唯一性

3.3.7 通信系统中熵的意义

3.4 平均互信息

3.4.1 平均互信息的定义

3.4.2 平均互信息与熵的关系

3.4.3 平均互信息的性质

3.4.4 多随机变量的互信息

3.5 本章小结

习题

4.1 信源的分类与数学模型

4.1.1 信源的分类

4.1.2 信源的数学模型

4.2 离散信源

4.2.1 离散无记忆信源和熵

4.2.2 离散平稳信源和熵

4.2.3 马尔可夫信源

4.2.4 信源的冗余度

4.3 连续信源

4.3.1 连续信源的熵与平均互信息

4.3.2 连续随机变量的信息散度

4.3.3 几种特殊分布连续信源的熵

4.3.4 最大熵定理

4.3.5 熵功率

4.3.6 符号持续时间信源的熵

4.4 本章小结

习题

5.1 信道的特性及其分类

5.1.1 信道模型

5.1.2 信道分类

5.2 离散信道及其信道容量

5.2.1 离散信道数学模型

5.2.2 离散信道容量

5.2.3 多符号离散信道及其信道容量

5.3 连续/波形信道及其信道容量

5.3.1 加性噪声信道及其信道容量

5.3.2 加性高斯信道及其信道容量

5.3.3 加性非高斯信道及其信道容量

5.3.4 并联加性高斯信道及其信道容量

5.3.5 限频限功率高斯信道及其信道容量

5.3.6 香农信道编码定理

5.4 MIMO信道模型和容量

5.4.1 MIMO信道模型

5.4.2 MIMO信道容量

5.5 本章小结

习题

6.1 信源编码简介

6.2 离散信源定长编码

6.2.1 典型序列与渐近均分特性

6.2.2 定长编码定理

6.2.3 定长编码参数

6.3 离散信源变长编码

6.3.1 变长编码的唯一可译性

6.3.2 Kraft不等式

6.3.3 变长编码定理

6.3.4 变长编码参数

6.4 变长编码方法

6.4.1 Huffman编码

6.4.2 实用的信源编码方法

6.5 本章小结

习题

7.1 引言

7.2 系统模型和失真测度

7.2.1 系统模型

7.2.2 失真测度

7.2.3 失真函数举例说明

7.3 信息率失真函数

7.3.1 定义

7.3.2 信息率失真函数的性质

7.3.3 简单信源的信息率失真函数

7.4 离散信源信息率失真函数的计算

7.4.1 离散信源信息率失真函数的参量表示

7.4.2 离散信源信息率失真函数求解的矢量/矩阵表示

7.4.3 参量s的意义

7.5 连续信源的信息率失真函数

7.5.1 连续信源的平均失真函数

7.5.2 d（x，y）只与x-y有关情况下信息率失真函数的求解

7.5.3 高斯信源的信息率失真函数

7.5.4 限带白色高斯信源的信息率失真函数

7.5.5 一般信源信息率失真函数的上限和下限

7.6 限失真信源编码定理

7.7 本章小结

习题

8.1 引言

8.2 纠错编码

8.3 简单编码

8.4 线性分组码

8.5 其他信道编码方式

8.5.1 卷积码

8.5.2 Turbo码

8.5.3 LDPC码

8.6 本章小结

习题

9.1 目标探测系统

9.1.1 目标探测系统的基本组成

9.1.2 目标探测系统的主要性能指标

9.2 空间信息的定义

9.2.1 目标探测系统模型

9.2.2 目标探测系统信号模型

9.2.3 目标的散射模型

9.2.4 空间信息的定义

9.3 空间信息量与探测精度

9.3.1 最大似然估计

9.3.2 熵误差

9.4 本章小结