视频编码与传输新技术电子书

内容简介

前言

第1章视频编码与传输基础

1.1 概述

1.1.1 视频的数字化

1．从模拟视频到数字视频

2．数字视频的格式

1.1.2 数字视频的压缩编码

1.1.3 压缩视频的传输

1.2 视频编码的基本方法

1.2.1 预测编码方法

1.2.2 变换编码方法

1．正交变换

2．DCT变换

3．整数变换

1.2.3 运动估计和运动补偿

1．视频图像的分区

2．减少帧间预测误差

3．块匹配运动估计

4．块匹配运动补偿

1.2.4 量化和熵编码

1．量化

2．Zig-Zag扫描

3．熵编码

1.2.5 H.261混合编码模式

1.3 数字视频压缩标准

1.3.1 H.26x标准

1．H.263标准

2．H.264/AVC标准

1.3.2 MPEG-x标准

1．MPEG-1标准

2．MPEG-2标准

3．MPEG-4标准

4．MPEG-RVC标准

1.3.3 AVS标准

1.3.4 VC-1标准

1.3.5 HEVC标准

1．编码结构和图像分块

2．帧内预测

3．变换、量化和熵编码

4．帧间预测

5．环路滤波

1.4 数字视频的网络传输

1.4.1 通信网络基础

1．网络拓扑和信息交换

2．传输媒介

3．网络的服务质量

1.4.2 主要传输网络

1．公用电话网

2．计算机通信网

1.4.3 网络接入技术

1．有线接入方式

2．无线接入方式

1.4.4 无线IP网络的视频传输

1．码率控制

2．差错控制

3．通信协议

参考文献

第2章率失真优化和码率控制

2.1 概述

2.1.1 视频编码的三项指标

1．编码码率

2．编码失真

3．编码复杂度

2.1.2 率失真优化

2.1.3 码率控制

2.2 率失真理论基础

2.2.1 图像的信源熵

1．无记忆信源熵

2．有记忆信源熵

2.2.2 率失真理论

1．编码模型

2．互信息量

3．失真度量

4．率失真函数

5．失真率函数

6．有记忆信源的处理

2.2.3 主要率失真模型

1．对数模型

2．指数模型

3．二次模型

4．ρ域模型

2.3 率失真优化编码

2.3.1 率失真优化方法

2.3.2 率失真优化的量化器

2.3.3 率失真优化的模式判决

2.3.4 率失真优化的运动估计

2.4 视频编码的码率控制

2.4.1 码率控制基础

1．码率控制的基本思路

2．码率控制的率失真表示

3．码率控制的方式

4．经典的码率控制方法

2.4.2 分层码率控制方法

1．图像层比特率控制

2．宏块层比特率控制

2.4.3 H.264的码率控制

1．JVT-G012码率控制算法

2．JVT-O016码率控制算法

2.5 新近的码率控制

2.5.1 半模糊的码率控制器

2.5.2 基于HVS的码率控制

2.5.3 平滑视频质量的码率控制

2.5.4 基于SSIM的码率控制

1．SSIM-Qstep的线性模型

2．基于SSIM的Qstep的最优解

2.6 编码复杂度

2.6.1 计算复杂度和视频质量

2.6.2 对可变复杂度算法的需求

2.6.3 可变复杂度算法

1．独立于输入的VCA

2．和输入有关的VCA

参考文献

第3章分布式视频编码

3.1 概述

3.1.1 相关信源的编码

3.1.2 Slepian-Wolf无损编码

3.1.3 Wyner-Ziv有损编码

3.2 分布式视频编码的主要方法

3.2.1 空域Wyner-Ziv方法

1．基于Turbo码的方法

2．基于LDPC码的方法

3.2.2 频域Wyner-Ziv方法

1．基于DCT的方法

2．PRISM编码方法

3.2.3 DISCUS编码方法

1．陪集分割

2．DISCUS编码

3.3 Wyner-Ziv编码中的边信息估计

3.3.1 Wyner-Ziv解码框架

3.3.2 边信息的估计

1．直接边信息预测

2．前向运动估计边信息预测

3．双向运动估计边信息预测

3.3.3 加权运动估计的边信息预测

1．加权块匹配运动估计

2．运动矢量处理

3．双向时域内插边信息预测

3.3.4 MAP运动估计的边信息预测

1．关键帧之间的MAP运动估计

2．关键帧和量化帧之间的MAP运动估计

3.4 分布式视频编码的性能

3.5 几种特殊的分布式视频编码方法

3.5.1 H.264视频的分布式编码

3.5.2 可分级DVC

3.5.3 多视点DVC

参考文献

第4章可分级与多描述视频编码

4.1 概述

4.2 可分级视频编码

1．SVC的主要方法

2．SVC的主要特点

4.2.1 空域可分级编码

1．空域可分级编码的概念

2．空域可分级编码过程

4.2.2 质量可分级编码

4.2.3 时域可分级编码

4.2.4 细粒度可分级编码

1．细粒度可分级性

2．FGS编解码过程

4.2.5 频域可分级编码

4.3 多描述视频编码

4.3.1 多描述编码

1．多描述编码的模型

2．视频的多描述编码

3．多描述编码的应用

4．多描述编码的特点

5．多描述编码的方法

4.3.2 多描述编码的理论基础

1．单高斯信源的率失真特性

2．多描述编码的率失真特性

3．多描述编码的冗余度

4．MDC和SVC的对比

4.3.3 基于量化的多描述编码

1．标量量化的多描述编码

2．矢量量化的多描述编码

4.3.4 基于变换的多描述编码

1．成对相关变换

2．成对相关变换多描述编码

4.4 H.264可分级编码

4.4.1 空域SVC技术

1．层间纹理信息预测

2．层间运动信息预测

3．层间残差信息预测

4．扩展的空间可分级性

4.4.2 时域SVC技术

4.4.3 信噪比SVC技术

1．粗粒度信噪比可分级

2．细粒度信噪比可分级

3．中粒度信噪比可分级

4.4.4 混合SVC技术

参考文献

第5章多视点视频编码

5.1 概述

5.1.1 立体视觉

5.1.2 多视点视频

1．双目立体视频

2．自由视点视频

5.1.3 多视点视频的压缩编码

5.2 立体视频的采集和显示

5.2.1 立体成像的几何模型

5.2.2 立体视频的采集

5.2.3 立体视频的显示

1．眼镜式3D显示技术

2．裸眼式3D显示技术

3．其他3D体显示技术

5.3 多视点视频编码技术

5.3.1 MVC的系统框架

5.3.2 MVC的预测结构

1．Go GOP预测结构

2．顺序视点预测结构

3．分解式预测结构

4．等级B帧预测结构

5.3.3 宏块级编码技术

5.4 虚拟视点合成技术

5.4.1 基于模型的绘制方法

5.4.2 基于图像的绘制方法

5.5 多视点视频编码标准

5.5.1 MVC的技术要求和应用

1．MVC的技术要求

2．MVC的应用

5.5.2 预测结构和码流结构

1．MVC的预测结构

2．MVC的码流结构

5.5.3 MVC的档次与级别

5.5.4 MVC的高层语法

5.6 二维视频转三维技术

5.6.1 深度图

1．基本概念

2．深度图的优缺点

5.6.2 深度图的获取

1．初始深度图获取

2．深度图帧内增强

3．深度图帧间去抖动

5.6.3 深度图的编码

1．利用纹理图像的边缘信息

2．利用纹理图像的运动信息

参考文献

第6章视频信号的压缩感知

6.1 概述

1．数据的采集和压缩

2．数据的压缩感知

6.1.1 信号的稀疏表示

6.1.2 信号的随机测量

1．测量矩阵的要求

2．常见的测量矩阵

6.1.3 信号的优化重建

6.2 从测量值重建原信号

6.2.1 信号重建的基本概念

1．矢量的范数

2．三维信号的CS重建

3．多维信号的CS重建

6.2.2 典型的重建算法

1．匹配追踪算法

2．正交匹配追踪算法

3．梯度投影方法

4．全变分重建算法

6.3 基于CS的视频编码

6.3.1 全感知和压缩感知

6.3.2 CS视频编码系统

6.3.3 分块CS视频编码

6.3.4 CS编码中的关键技术

1．预处理

2．CS测量

3．量化和反量化

4．熵编码和解码

5．CS重建算法

6．图像输出

7．运动估计及帧内预测

6.4 基于CS的分布式视频编码

6.4.1 DCVS的基本原理和系统结构

1．DCVS的基本原理

2．DCVS的系统结构

6.4.2 DCVS的性能特点和关键技术

1．DCVS的性能特点

2．DCVS的关键技术

6.5 基于CS的多描述视频编码

6.5.1 分块压缩感知

6.5.2 BCS-MDC编码

6.5.3 测量值分组

6.5.4 BCS-MDC解码

1．BCS-SPL重建算法

2．重建图像质量分析

3．BCS-MDC的特点

参考文献

第7章解码视频的差错掩盖

7.1 概述

7.1.1 视频通信中的差错控制

1．收发端配合的差错控制

2．解码端的差错控制

7.1.2 解码端的差错掩盖

1．帧内掩盖算法

2．帧间掩盖算法

7.2 自适应插值的帧内差错掩盖

7.2.1 插值算法的约束条件

7.2.2 基于边缘判决的多方向插值

1．丢失块内边缘的分布估计

2．边缘类型的判决

3．边缘检测区域的确定

4．平滑块和边缘块的插值

7.2.3 基于块内容的自适应掩盖

1．丢失块内边缘分布的方向熵

2．基于方向熵的自适应掩盖

7.3 采用模糊推理的帧间差错掩盖

7.3.1 掩盖块的匹配准则

1．边界匹配失真

2．边框匹配失真

7.3.2 使用模糊推理的掩盖算法

1．输入模糊化的隶属度函数

2．输出模糊规则设置

3．推理过程

4．输出的去模糊化

7.3.3 隶属度函数的自适应定义

1．SMD隶属度函数的设置

2．SAD隶属度函数的设置

3．模糊推理的流程

7.4 基于运动信息的H.264帧间差错掩盖

7.4.1 H.264中的运动矢量恢复算法

1．基于多项式模型的运动矢量恢复

2．基于运动趋势的运动矢量恢复

7.4.2 基于均值漂移的运动矢量恢复

1．运动矢量的聚类特性

2．均值漂移过程

3．丢失块运动矢量的初始化

4．运动矢量场的平滑

7.4.3 基于核回归的运动矢量恢复

1．非参数核回归分析

2．运动矢量恢复

参考文献

第8章无线视频传输的质量保证

8.1 概述

8.1.1 面向网络的视频压缩

8.1.2 视频传输的QoS要求

1．可用带宽

2．传输时延

3．误码率与丢包率

4．时延抖动

8.1.3 图像质量评价

1．主观质量评价

2．客观质量评价

8.2 基本的QoS保证

8.2.1 以网络为主的QoS保证

1．具体措施

2．综合模型和区分模型

8.2.2 以终端为主的QoS保证

1．拥塞控制

2．差错控制

8.3 采用跨层设计的QoS保证

8.3.1 跨层设计的必要性

8.3.2 WMN中跨层设计的要求

1．物理层的要求

2．MAC子层的要求

3．路由协议的要求

4．TCP协议的要求

5．多媒体业务的要求

8.3.3 跨层设计方法及优化

1．跨层设计的主要方法

2．跨层设计的优化方法

8.4 无线Mesh网络简介

8.4.1 无线Mesh网络的类型

1．骨干型

2．客户型

3．混合型

8.4.2 无线Mesh网络的特点

8.4.3 无线Mesh网络的标准

8.4.4 无线Mesh网络的QoS

8.5 WMN中的QoS模型

8.5.1 QoS保证的框架模型

1．INSIGNIA框架

2．FQMM模型

3．SWAN模型

8.5.2 WMN多跳链路的干扰模型

8.5.3 丢包模型

参考文献

第9章监控视频的智能分析

9.1 概述

9.1.1 视频监控

9.1.2 智能视频分析

1．IVS的主要功能

2．IVS的技术难点

9.1.3 视频分析的关键技术

1．运动目标的检测

2．运动目标的跟踪

3．目标行为的分析

4．多摄像机协同跟踪

9.1.4 主要应用领域

1．交通运输领域

2．银行金融领域

3．公共安全领域

4．小区家庭领域

9.2 运动目标检测技术

9.2.1 背景减除方法

1．背景减除

2．背景更新

9.2.2 帧间差方法

9.2.3 混合高斯模型（GMM）方法

1．背景的统计模型

2．建模和更新过程

9.2.4 光流场方法

9.3 运动目标跟踪技术

9.3.1 卡尔曼滤波方法

1．卡尔曼滤波原理

2．卡尔曼滤波的跟踪算法

9.3.2 均值漂移方法

1．无参密度估计

2．多维核函数

3．多维无参密度估计

4．均值漂移向量

5．均值漂移目标跟踪

9.4 目标行为分析技术

9.4.1 行为特征的选择与表示

1．行为特征的选择

2．行为特征的表示

9.4.2 人体行为识别

1．模板匹配方法

2．概率网络方法

9.4.3 人体行为描述

9.4.4 行为分析的应用

1．基于贝叶斯网络的异常行为检测

2．行为分析举例

9.5 多摄像机协同技术

9.5.1 应用需求和技术难点

1．应用需求

2．技术难点

9.5.2 目标特征的提取

1．目标的色度特征

2．色度特征的相似度

9.5.3 目标轨迹的提取和交接

1．运动目标的轨迹

2．轨迹的提取

3．相邻视域的轨迹交接

4．交叠视域的轨迹交接

5．间隔视域的轨迹交接

参考文献

第10章超分辨率图像重建

10.1 概述

10.1.1 图像的空间分辨率

10.1.2 超分辨率重建基础

10.1.3 图像的降质模型

10.1.4 超分辨率重建的应用

10.1.5 反问题的正则化求解

1．正则化方法求解

2．正则化参数的影响

10.1.6 超分辨率重建的主要方法

10.2 基于插值的超分辨率方法

10.2.1 最近邻插值

10.2.2 双线性插值

10.2.3 双立方插值

10.2.4 核回归插值

1．一维核回归

2．二维核回归

3．自适应核回归

10.3 基于重建的超分辨率方法

10.3.1 凸集投影（POCS）方法

1．POCS基本原理

2．POCS的约束凸集

10.3.2 最大后验概率（MAP）方法

1．最大后验概率估计

2．基于MAP的超分辨率重建

10.3.3 迭代反向投影（IBP）方法

10.4 基于学习的超分辨率方法

10.4.1 邻域嵌入的方法

1．流形学习

2．建立训练集

3．NE重建

10.4.2 非局部滤波的方法

1．非局部相似性

2．非局部滤波处理

10.4.3 基于样例的方法

1．建立训练集

2．SR算法

3．马尔可夫网络

10.4.4 基于稀疏表示的方法

1．稀疏表示和重建原理

2．超完备字典的建立

3．超分辨率重建

10.5 视频序列的超分辨率重建

10.5.1 视频图像的降质模型

1．一般视频的降质

2．压缩视频降质模型

10.5.2 视频图像的超分辨率重建

1．视频的帧间配准

10.5.3 运动信息的获得

1．贝叶斯运动估计

2．局部最优的光流场运动估计

3．分级块匹配运动估计

10.5.4 窄量化集约束的投影超分辨率重建

1．窄量化约束集

2．DCT系数的HVS加权

3．投影迭代

参考文献