卷积神经网络的Python实现电子书

前言

第一部分 模型篇

第 1 章机器学习简介

1.1 引言

1.2 基本术语

1.3 重要概念

1.4 图像分类

1.5 MNIST数据集简介

第 2 章线性分类器

2.1 线性模型

2.1.1 线性分类器

2.1.2 理解线性分类器

2.1.3 代码实现

2.2 softmax损失函数

2.2.1 损失函数的定义

2.2.2 概率解释

2.2.3 代码实现

2.3 优化

2.4 梯度下降法

2.4.1 梯度的解析意义

2.4.2 梯度的几何意义

2.4.3 梯度的物理意义

2.4.4 梯度下降法代码实现

2.5 牛顿法

2.6 机器学习模型统一结构

2.7 正则化

2.7.1 范数正则化

2.7.2 提前终止训练

2.7.3 概率的进一步解释

第 3 章神经网络

3.1 数学模型

3.2 激活函数

3.3 代码实现

3.4 学习容量和正则化

3.5 生物神经科学基础

第 4 章卷积神经网络的结构

4.1 概述

4.1.1 局部连接

4.1.2 参数共享

4.1.3 3D特征图

4.2 卷积层

4.2.1 卷积运算及代码实现

4.2.2 卷积层及代码初级实现

4.2.3 卷积层参数总结

4.2.4 用连接的观点看卷积层

4.2.5 使用矩阵乘法实现卷积层运算

4.2.6 批量数据的卷积层矩阵乘法的代码实现

4.3 池化层

4.3.1 概述

4.3.2 池化层代码实现

4.4 全连接层

4.4.1 全连接层转化成卷积层

4.4.2 全连接层代码实现

4.5 卷积网络的结构

4.5.1 层的组合模式

4.5.2 表示学习

4.6 卷积网络的神经科学基础

第二部分 优化篇

第 5 章基于梯度下降法的最优化方法

5.1 随机梯度下降法SGD

5.2 基本动量法

5.3 Nesterov动量法

5.4 AdaGrad

5.5 RMSProp

5.6 Adam

5.7 AmsGrad

5.8 学习率退火

5.9 参数初始化

5.10 超参数调优

第 6 章梯度反向传播算法

6.1 基本函数的梯度

6.2 链式法则

6.3 深度网络的误差反向传播算法

6.4 矩阵化

6.5 softmax损失函数梯度计算

6.6 全连接层梯度反向传播

6.7 激活层梯度反向传播

6.8 卷积层梯度反向传播

6.9 最大值池化层梯度反向传播

第三部分 实战篇

第 7 章训练前的准备

7.1 中心化和规范化

7.1.1 利用线性模型推导中心化

7.1.2 利用属性同等重要性推导规范化

7.1.3 中心化和规范化的几何意义

7.2 PCA和白化

7.2.1 从去除线性相关性推导PCA

7.2.2 PCA代码

7.2.3 PCA降维

7.2.4 PCA的几何意义

7.2.5 白化

7.3 卷积网络在进行图像分类时如何预处理

7.4 BN

7.4.1 BN前向计算

7.4.2 BN层的位置

7.4.3 BN层的理论解释

7.4.4 BN层在实践中的注意事项

7.4.5 BN层的梯度反向传播

7.4.6 BN层的地位探讨

7.4.7 将BN层应用于卷积网络

7.5 数据扩增

7.6 梯度检查

7.7 初始损失值检查

7.8 过拟合微小数据子集

7.9 监测学习过程

7.9.1 损失值

7.9.2 训练集和验证集的准确率

7.9.3 参数更新比例

第 8 章神经网络实例

8.1 生成数据

8.2 数据预处理

8.3 网络模型

8.4 梯度检查

8.5 参数优化

8.6 训练网络

8.7 过拟合小数据集

8.8 超参数随机搜索

8.9 评估模型

8.10 程序组织结构

8.11 增加BN层

8.12 程序使用建议

第 9 章卷积神经网络实例

9.1 程序结构设计

9.2 激活函数

9.3 正则化

9.4 优化方法

9.5 卷积网络的基本模块

9.6 训练方法

9.7 VGG网络结构

9.8 MNIST数据集

9.9 梯度检测

9.10 MNIST数据集的训练结果

9.11 程序使用建议

第 10 章卷积网络结构的发展

10.1 全局平均池化层

10.2 去掉池化层

10.3 网络向更深更宽发展面临的困难

10.4 ResNet向更深发展的代表网络

10.5 GoogLeNet向更宽发展的代表网络

10.6 轻量网络

10.6.1 1×1深度维度卷积代码实现

10.6.2 3×3逐特征图的卷积代码实现

10.6.3 逆残差模块的代码实现

10.7 注意机制网络SENet

第 11 章工程实践中的问题

11.1 单一数字评估指标

11.2 人类水平表现

11.3 偏差/方差分析

11.4 错误分析

11.5 修正错误标签

11.6 训练集和验证集分布不一致

11.7 迁移学习

11.8 多任务学习

11.9 端到端学习

11.10 修改评估指标或者验证集测试集

11.11 如何设计训练集、验证集和测试集

11.12 类别不平衡

11.13 负样本采集

11.14 快速搭建并迭代系统

第 12 章目标检测

12.1 目标定位

12.2 目标检测

12.3 非极大值抑制NMS

12.4 锚点框Anchor Box

12.5 边界框参数

12.6 特征金字塔网络FPN

12.7 YOLO算法

12.8 软非极大值抑制Soft-NMS

12.9 聚焦损失Focal Loss

12.10 基础网络Backbone

12.11 多尺度Multiple Scales

12.12 三叉戟网络TridentNet

12.13 人脸关键点定位

12.14 单个人体关键点定位

12.15 多人人体关键点定位

第 13 章二值化网络

13.1 权重二值化

13.2 XNOR网络

13.3 权重尺度化