深度学习——理论、方法与PyTorch实践电子书

封面页

书名页

版权页

内容简介

作者简介

前言

基础篇

第1章　什么是深度学习

1.1　通过应用示例直观理解深度学习

1.2　3个视角解释深度学习

1.2.1　分层组合性

1.2.2　端到端学习

1.2.3　分布式表示

1.3　深度学习面临的挑战

1.3.1　深度学习的工作机制

1.3.2　非凸的问题

1.3.3　可解释性的问题

第2章　图像识别及K-NN算法

2.1　图像分类

2.2　误差分解和K-NN算法

2.2.1　误差分解

2.2.2　K-NN算法运行过程

第3章　线性分类器

3.1　线性分类器用于图像分类的3个观点

3.1.1　线性分类的代数观点

3.1.2　线性分类的视觉观点

3.1.3　线性分类的几何观点

3.2　合页损失函数原理推导及图像分类举例

3.2.1　合页损失函数的概念

3.2.2　多分类合页损失函数的推导

3.3　Softmax损失函数与多分类SVM损失函数的比较

3.3.1　Softmax分类与损失函数

3.3.2　Softmax损失函数与合页损失函数的比较

第4章　优化与梯度

4.1　梯度下降法工作原理及3种普通梯度下降法

4.1.1　梯度下降的概念

4.1.2　梯度下降法求解目标函数

4.1.3　学习率的重要性

4.1.4　3种梯度下降法

4.2　动量SGD和Nesterov加速梯度法

4.2.1　SGD存在的问题

4.2.2　动量法

4.2.3　Nesterov加速梯度法

4.3　自适应学习速率优化方法

4.3.1　指数加权平均值处理数字序列

4.3.2　自适应学习速率AdaGrad方法

4.3.3　自适应学习速率RMSProp方法

4.3.4　自适应学习速率Adadelta方法

4.4　最强优化方法Adam

4.4.1　为什么Adam性能如此卓越

4.4.2　偏差矫正

4.4.3　如何矫正偏差

第5章　卷积神经网络

5.1　卷积核

5.1.1　卷积核简介

5.1.2　卷积核的作用

5.2　卷积神经网络中步长、填充和通道的概念

5.2.1　步长

5.2.2　填充

5.2.3　通道

5.3　快速推导卷积层特征图尺寸计算公式

5.3.1　计算过程直观展示

5.3.2　计算过程总结

5.4　极简方法实现卷积层的误差反传

5.4.1　误差反传举例说明

5.4.2　完全卷积过程简介

5.4.3　把卷积过程写成神经网络形式

5.4.4　应用计算图的反向模式微分

5.5　极池化层的本质思想及其过程

5.5.1　池化层的分类

5.5.2　池化后图像尺寸

第6章　卷积神经网络训练技巧

6.1　ReLU激活函数的优势

6.1.1　为什么需要激活函数

6.1.2　主流激活函数介绍

6.2　内部协变量偏移

6.3　批归一化

6.3.1　为什么需要批归一化

6.3.2　批归一化的工作原理

6.3.3　批归一化的优势

6.4　Dropout正则化及其集成方法思想

6.4.1　特征共适应性

6.4.2　Dropout正则化思想

6.4.3　Dropout集成思想

6.4.4　预测时需要恢复Dropout的随机性

第7章　卷积神经网络架构

7.1　掀起深度学习风暴的AlexNet网络架构

7.1.1　卷积神经网络的开端LeNet

7.1.2　AlexNet架构

7.2　神经网络感受野及其计算

7.2.1　生物学中的感受野

7.2.2　CNN中的感受野

7.3　VGGNet网络结构相比较AlexNet的优势

7.3.1　VGGNet简介

7.3.2　VGGNet与AlexNet网络结构对比

7.4　GoogLeNet 1×1卷积核的深刻意义及其作用

7.4.1　深度神经网络的缺陷

7.4.2　多通道卷积中特征图映射太多的问题

7.4.3　1×1卷积核卷积过程

7.5　GoogLeNet初始模块设计指导思想

7.5.1　赫布学习规则

7.5.2　人工神经网络中的赫布学习规则

7.6　透彻理解GoogLeNet全景架构

7.7　ResNet关键结构恒等映射背后的思想及原理

7.8　全面理解ResNet全景架构

第8章　循环神经网络

8.1　为什么要用递归神经网络

8.1.1　为什么需要递归神经网络

8.1.2　RNN结构以及应用

8.2　RNN计算图

8.3　RNN前向与反向传播

8.3.1　前馈深度

8.3.2　循环深度

8.3.3　通过时间反向传播

8.3.4　两个和的反向传播

8.3.5　梯度消失和梯度爆炸

8.4　长短期记忆（LSTM）及其变种的原理

8.4.1　LSTM网络架构

8.4.2　LSTM变体一

8.4.3　LSTM变体二

8.4.4　LSTM变体三

第9章　基于深度学习的语言模型

9.1　词的各种向量表示

9.2　通过词向量度量词的相似性

9.3　潜在语义分析LSA

9.3.1　潜在语义分析的过程

9.3.2　潜在语义分析的SVD分解

9.4　Word2Vec词嵌入原理

9.4.1　Word2Vec的指导思想

9.4.2　skip-gram算法的框架

9.4.3　skip-gram算法的输入训练集

9.4.4　skip-gram算法的目标函数

9.4.5　skip-gram网络中的两个权重矩阵

9.5　GloVe词向量模型

9.5.1　由单词共同出现的次数到共同出现的概率

9.5.2　GloVe模型目标函数的推导

9.6　从one-hot向量到seq2seq序列模型

9.7　编码器解码器模型

9.8　为什么要用注意力机制

9.8.1　大脑中的注意力

9.8.2　为什么要使用注意力机制

9.9　注意力机制的数学原理

第10章　深度学习NLP应用进阶

10.1　注意力机制的应用指针网络

10.2　递归神经网络是否是必要的

10.2.1　递归神经网络存在的问题

10.2.2　前馈网络的优势

10.2.3　如何替代递归神经网络

10.3　Transformer的数学原理

10.3.1　什么是Transformer

10.3.2　Transformer结构的形象展示

10.3.3　什么是自我注意力

10.3.4　多头自我注意力

10.4　Transformer的3个矩阵K、V、Q

10.5　Transformer的位置编码原理

10.5.1　位置编码的向量计算

10.5.2　位置编码的表示

10.6　Transformer的全景架构

10.7　深度语境化词语表示ELMo

10.7.1　为什么需要语境情景化的表示

10.7.2　ELMo的算法构成

10.7.3　ELMo整体框架

10.7.4　ELMo的应用

10.7.5　ELMo算法的效果

10.8　NLP里程碑模型BERT三大集成创新

10.8.1　双向上下文遮蔽语言模型

10.8.2　使用Transformer

10.8.3　迁移学习

10.8.4　应用于特定任务

第11章　深度生成模型

11.1　监督学习与无监督学习的比较

11.1.1　监督学习

11.1.2　无监督学习

11.2　为什么要用生成模型

11.2.1　超越分类

11.2.2　生成模型应用实例

11.3　自编码

11.4　从概率视角理解VAE建模过程

11.5　K-L散度

11.6　VAE损失函数推导

11.7　用深度神经网络求解VAE目标函数

第12章　生成对抗网络

12.1　GAN目标函数

12.2　通过博弈论理解GAN原理

12.3　由J-S散度推导GAN判别器和生成器最优值

12.4　深度卷积生成对抗网络（DCGAN）

12.4.1　DCGAN使用的方法

12.4.2　DCGAN中的生成器

12.4.3　DCGAN对抗训练的细节

12.5　条件生成对抗网络

12.5.1　CGAN的网络结构

12.5.2　CGAN的数学原理

12.5.3　生成器和判别器的目标损失函数

第13章　生成对抗网络的创新及应用

13.1　图像到图像的翻译

13.1.1　CNN可否预测图像

13.1.2　CGAN的具体应用：以不同形态的图像为条件

13.1.3　CGAN结构上的两大创新

13.1.4　图像到图像翻译的应用场景

13.2　循环生成对抗网络~([11])

13.3　CycleGAN对抗性损失和循环一致性原理

13.4　从条件熵的视角剖析CycleGAN

13.5　CycleGAN实验结果

13.6　超分辨率生成对抗网络（SRGAN）

13.7　SRGAN的网络架构

13.8　叠加生成对抗网络

13.9　StackGAN中的条件增强

13.10　渐进式增长生成对抗网络~([13])

13.11　StyleGAN中的自适应实例规范化

13.12　StyleGAN中删除传统输入与随机变化

13.13　为什么GAN很难训练~([15])

13.14　GAN中梯度消失与梯度不稳定

13.15　Wasserstein距离

13.16　为什么Wasserstein距离比K-L、J-S散度更有利于训练GAN

实战篇

第14章　PyTorch入门

14.1　PyTorch介绍及张量

14.1.1　PyTorch及其特定优势

14.1.2　PyTorch安装

14.1.3　张量

14.2　PyTorch动态图、自动梯度、梯度反传

14.3　使用PyTorch的nn包构建卷积神经网络

第15章　手写数字识别

15.1　手写数字识别的解决方案

15.1.1　手写数字识别的研究意义与背景

15.1.2　手写数字识别的项目挑战

15.1.3　手写数字识别的项目原理与解决方案

15.2　搭建多层全连接神经网络实现MNIST手写数字识别

15.2.1　由浅入深搭建3层全连接网络

15.2.2　MNIST训练集和测试集载入

15.2.3　模型训练与评估

15.3　基于卷积神经网络的MNIST手写数字识别

15.3.1　卷积神经网络基本解读

15.3.2　搭建一个卷积神经网络

第16章　基于PyTorch的卷积神经网络可视化理解

16.1　问题背景

16.2　卷积神经网络

16.2.1　比较多层感知机和卷积神经网络

16.2.2　神经元的感知野

16.3　计算机如何查看输入的图像

16.4　构建过滤器

16.5　完整的卷积神经网络结构

16.6　可视化一个简单的卷积神经网络

16.7　使用预训练的AlexNet进行各层卷积可视化

16.7.1　输入图片可视化

16.7.2　可视化过滤器——多通道

16.7.3　可视化过滤器——单通道

16.8　图像遮挡实验

16.9　总结

第17章　基于Keras实现Kaggle猫狗大战

17.1　猫狗大战背景介绍

17.2　Keras介绍及安装配置

17.2.1　什么是Keras

17.2.2　安装TensorFlow

17.2.3　安装Keras

17.3　基于卷积神经网络的猫狗大战

17.3.1　构建第1个网络

17.3.2　增加丢弃

17.3.3　增加数据增强

17.4　基于迁移学习的猫狗大战

17.4.1　VGG16简介

17.4.2　使用VGG16预测图像包含什么内容

17.4.3　训练猫狗大战分类器

17.4.4　转移学习/微调模型

第18章　基于PyTorch实现一个DCGAN案例

18.1　介绍

18.2　生成对抗网络

18.2.1　什么是GAN

18.2.2　什么是DCGAN

18.2.3　输入

18.2.4　数据

18.2.5　实现

18.2.6　结果

18.2.7　未来

第19章　从零出发实现基于RNN的3个应用

19.1　RNN网络结构及原理

19.2　使用字符级RNN对姓名进行分类

19.2.1　准备数据注意

19.2.2　将姓名转换为张量

19.2.3　创建网络

19.2.4　训练

19.3　使用字符级RNN生成名称

19.3.1　准备数据

19.3.2　构建网络

19.3.3　训练

19.3.4　绘制损失

19.3.5　网络采样

19.4　使用序列到序列的网络和注意机制完成翻译

19.4.1　加载数据文件

19.4.2　seq2seq模型

19.4.3　训练

19.4.4　绘图结果

19.4.5　评估

19.4.6　训练与评估

19.4.7　可视化注意机制

参考文献