深度学习视频理解电子书

内容简介

前言

第1章 绪论

1.1 引言

1.2 本书内容

1.2.1 图像分类

1.2.2 动作识别

1.2.3 时序动作定位

1.2.4 视频Embedding

1.3 本章小结

第2章 经典网络结构回顾

2.1 经典图像分类网络

2.1.1 LetNet-5

2.1.2 AlexNet

2.1.3 VGGNet

2.1.4 GoogLeNet

2.1.5 Inception V2/V3

2.1.6 ResNet

2.1.7 preResNet

2.1.8 WRN

2.1.9 随机深度网络

2.1.10 DenseNet

2.1.11 ResNeXt

2.1.12 SENet

2.1.13 MobileNet

2.1.14 MobileNet V2/V3

2.1.15 ShuffleNet

2.1.16 ShuffleNet V2

2.2 RNN、LSTM和GRU

2.2.1 RNN

2.2.2 梯度爆炸与梯度消失

2.2.3 LSTM

2.2.4 GRU

2.3 本章小结

第3章 基于2D卷积的动作识别

3.1 平均汇合

3.2 NetVLAD和NeXtVLAD

3.2.1 VLAD

3.2.2 NetVLAD

3.2.3 NeXtVLAD

3.2.4 NetFV和其他策略

3.3 利用RNN融合各帧特征

3.3.1 2D卷积+RNN的基本结构

3.3.2 对RNN结构进行改造

3.4 利用3D卷积融合各帧特征

3.4.1 什么是3D卷积

3.4.2 ECO

3.5 双流法

3.5.1 什么是光流

3.5.2 双流法的基本网络结构

3.5.3 双流法的网络结构优化

3.6 时序稀疏采样

3.6.1 TSN

3.6.2 TSN的实现

3.6.3 ActionVLAD

3.6.4 StNet

3.6.5 TRN

3.7 利用iDT轨迹

3.7.1 DT和iDT

3.7.2 TDD

3.8 本章小结

第4章 基于3D卷积的动作识别

4.1 3D卷积基础网络结构

4.1.1 C3D

4.1.2 Res3D/3D ResNet

4.1.3 LTC

4.2 I3D

4.2.1 5类动作识别网络

4.2.2 2D卷积扩展为3D卷积

4.2.3 5类网络对比

4.3 3D卷积的低秩近似

4.3.1 低秩近似的基本原理

4.3.2 FSTCN

4.3.3 P3D

4.3.4 R(2+1)D

4.3.5 S3D

4.4 TSM

4.5 3D卷积+RNN

4.6 ARTNet

4.7 Non-Local

4.7.1 Non-Local 操作

4.7.2 Non-Local 动作识别网络

4.8 SlowFast

4.8.1 Slow分支和Fast分支

4.8.2 网络结构设计

4.9 3D卷积神经网络超参数设计

4.9.1 多网格训练

4.9.2 X3D

4.10 本章小结

第5章 时序动作定位

5.1 基于滑动窗的算法

5.1.1 S-CNN

5.1.2 TURN

5.1.3 CBR

5.2 基于候选时序区间的算法

5.2.1 Faster R-CNN 回顾

5.2.2 R-C3D

5.2.3 TAL-Net

5.3 自底向上的时序动作定位算法

5.3.1 BSN

5.3.2 TSA-Net

5.3.3 BMN

5.4 对时序结构信息建模的算法

5.4.1 TAG 候选时序区间生成算法

5.4.2 SSN 网络结构

5.5 逐帧预测的算法

5.5.1 CDC层

5.5.2 CDC网络结构

5.6 单阶段算法

5.6.1 SSAD

5.6.2 SS-TAD

5.6.3 GTAN

5.7 本章小结

第6章 视频Embedding

6.1 基于视频内容的无监督 Embedding

6.1.1 编码-解码网络

6.1.2 视频序列验证

6.1.3 视频和音频信息

6.1.4 视频和文本信息

6.2 Word2Vec

6.2.1 CBOW和Skip-Gram

6.2.2 分层Softmax

6.2.3 负采样

6.3 Item2Vec

6.3.1 Item2Vec 基本形式

6.3.2 Item2Vec的改进

6.4 基于图的随机游走

6.4.1 DeepWalk

6.4.2 Node2Vec

6.5 结合一二阶相似度

6.5.1 LINE

6.5.2 SDNE

6.6 基于图的邻居结点

6.6.1 GCN

6.6.2 GraphSAGE

6.6.3 GAT

6.7 基于多种信息学习视频Embedding

6.7.1 召回模型

6.7.2 训练

6.8 本章小结

附录A 视频处理常用工具

A.1 FFmpeg

A.2 OpenCV

A.3 Decord

A.4 Lintel

参考文献