深度卷积网络:原理与实践电子书

前言

为何写作本书

本书的特点

本书读者对象

如何阅读本书

资源和勘误

致谢

引子·神之一手

第1章 走进深度学习的世界

1.1 从人工智能到深度学习

1.2 深度神经网络的威力：以AlphaGo为例

1.2.1 策略网络简述

1.2.2 泛化：看棋谱就能学会下围棋

1.2.3 拟合与过拟合

1.2.4 深度神经网络的速度优势

1.3 深度神经网络的应用大观

1.3.1 图像分类问题的难度所在

1.3.2 用深度神经网络理解图像

1.3.3 AlphaGo中的深度神经网络

1.3.4 自动发现规律：从数据A到答案B

1.3.5 深度神经网络的更多应用

1.3.6 从分而治之，到端对端学习

1.4 亲自体验深度神经网络

1.4.1 TensorFlow游乐场

1.4.2 MNIST数字识别实例：LeNet-5

1.4.3 策略网络实例

1.4.4 简笔画：Sketch-RNN

1.4.5 用GAN生成动漫头像

1.5 深度神经网络的基本特点

1.5.1 两大助力：算力、数据

1.5.2 从特征工程，到逐层抽象

1.5.3 深度神经网络学会的是什么

1.6 人工智能与神经网络的历史

1.6.1 人工智能的两大学派：逻辑与统计

1.6.2 人工智能与神经网络的现代编年史

第2章 深度卷积网络：第一课

2.1 神经元：运作和训练

2.1.1 运作：从实例说明

2.1.2 训练：梯度下降的思想

2.1.3 训练：梯度下降的公式

2.1.4 训练：找大小问题的初次尝试

2.1.5 训练：Excel的实现

2.1.6 重要知识：批大小、mini-batch、epoch

2.2 深度学习框架MXNet：安装和使用

2.2.1 计算图：动态与静态

2.2.2 安装MXNet：准备工作

2.2.3 在Windows下安装MXNet

2.2.4 在macOS下安装MXNet：CPU版

2.2.5 在macOS下安装MXNet：GPU版

2.2.6 在Linux下安装MXNet

2.2.7 安装Jupyter演算本

2.2.8 实例：在MXNet训练神经元并体验调参

2.3 神经网络：运作和训练

2.3.1 运作：前向传播，与非线性激活的必要性

2.3.2 运作：非线性激活

2.3.3 训练：梯度的计算公式

2.3.4 训练：实例

2.3.5 训练：Excel的实现

2.3.6 训练：反向传播

2.3.7 重要知识：梯度消失，梯度爆炸

2.3.8 从几何观点理解神经网络

2.3.9 训练：MXNet的实现

第3章 深度卷积网络：第二课

3.1 重要理论知识

3.1.1 数据：训练集、验证集、测试集

3.1.2 训练：典型过程

3.1.3 有监督学习：回归、分类、标签、排序、Seq2Seq

3.1.4 无监督学习：聚类、降维、自编码、生成模型、推荐

3.1.5 训练的障碍：欠拟合、过拟合

3.1.6 训练的细节：局部极值点、鞍点、梯度下降算法

3.2 神经网络的正则化

3.2.1 修改损失函数：L2和L1正则化

3.2.2 修改网络架构：Dropout正则化

3.2.3 更多技巧：集合、多任务学习、参数共享等

3.2.4 数据增强与预处理

3.3 神经网络的调参

3.3.1 学习速率

3.3.2 批大小

3.3.3 初始化方法

3.3.4 调参实战：重返TensorFlow游乐场

3.4 实例：MNIST问题

3.4.1 重要知识：SoftMax层、交叉熵损失

3.4.2 训练代码与网络架构

3.4.3 超越MNIST：最新的Fashion-MNIST数据集

3.5 网络训练的常见bug和检查方法

3.6 网络训练性能的提高

第4章 深度卷积网络：第三课

4.1 卷积网络：从实例说明

4.1.1 实例：找橘猫，最原始的方法

4.1.2 实例：找橘猫，更好的方法

4.1.3 实例：卷积和池化

4.1.4 卷积网络的运作

4.2 运作：AlphaGo眼中的棋盘

4.2.1 棋盘的编码

4.2.2 最简化的策略网络

4.2.3 最简化的策略网络：特征层和卷积后的结果

4.3 卷积神经网络：进一步了解

4.3.1 卷积核、滤波器与参数量的计算

4.3.2 运作和训练的计算

4.3.3 外衬与步长

4.3.4 缩小图像：池化与全局池化

4.3.5 放大图像：转置卷积

4.4 实例：用卷积网络解决MNIST问题

4.4.1 网络架构的定义与参数量的计算

4.4.2 训练MNIST网络

4.4.3 在MXNet运行训练后的网络

4.4.4 调参实例

4.4.5 在Fashion-MNIST数据集的结果

4.5 MXNet的使用技巧

4.5.1 快速定义多个层

4.5.2 网络的保存与读取

4.5.3 图像数据的打包和载入

4.5.4 深入MXNet训练细节

4.5.5 在浏览器和移动设备运行神经网络

第5章 深度卷积网络：第四课

5.1 经典的深度卷积网络架构

5.1.1 深度学习革命的揭幕者：AlexNet

5.1.2 常用架构：VGG系列

5.1.3 去掉全连接层：DarkNet系列

5.2 网络的可视化：以AlexNet为例

5.3 迁移学习：精调、预训练等

5.4 架构技巧：基本技巧

5.4.1 感受野与缩小卷积核

5.4.2 使用1×1卷积核

5.4.3 批规范化

5.4.4 实例：回顾Fashion-MNIST问题

5.4.5 实例：训练CIFAR-10模型

5.5 架构技巧：残差网络与通道组合

5.5.1 残差网络：ResNet的思想

5.5.2 残差网络：架构细节

5.5.3 残差网络：来自于集合的理解与随机深度

5.5.4 残差网络：MXNet实现，以策略网络为例

5.5.5 通道组合：Inception模组

5.5.6 通道组合：XCeption架构，深度可分卷积

5.5.7 实例：再次训练CIFAR-10模型

5.6 架构技巧：更多进展

5.6.1 残差网络进展：ResNext、Pyramid Net、DenseNet

5.6.2 压缩网络：SqueezeNet、MobileNet、ShuffleNet

5.6.3 卷积核的变形

5.7 物体检测与图像分割

5.7.1 YOLO v1：实时的物体检测网络

5.7.2 YOLO v2：更快、更强

5.7.3 Faster R-CNN：准确的物体检测网络

5.7.4 Mask-RCNN：准确的图像分割网络

5.8 风格转移

第6章 AlphaGo架构综述

6.1 从AlphaGo到AlphaZero

6.1.1 AlphaGo v13与AlphaGo v18

6.1.2 AlphaGo Master与AlphaGo Zero

6.1.3 解决一切棋类：AlphaZero

6.2 AlphaGo的对弈过程

6.2.1 策略网络

6.2.2 来自人类的思路

6.2.3 蒙特卡洛树搜索与估值问题

6.2.4 从快速走子估值到价值网络

6.2.5 从搜索树看策略与价值网络的作用

6.2.6 策略与价值网络的运作实例

6.3 AlphaGo中的深度卷积网络架构

6.4 AlphaGo的训练过程

6.4.1 原版AlphaGo：策略梯度方法

6.4.2 新版AlphaGo：从蒙特卡洛树搜索学习

6.5 AlphaGo方法的推广

第7章 训练策略网络与实战

7.1 训练前的准备工作

7.1.1 棋谱数据

7.1.2 落子模拟

7.1.3 终局判断

7.2 训练代码

7.2.1 主程序：train.py

7.2.2 训练参数：config.py

7.2.3 辅助函数：util.py

7.2.4 棋盘随机变换：symmetry.py

7.2.5 训练实例

7.3 对弈实战

第8章 生成式对抗网络：GAN

8.1 GAN的起源故事

8.2 GAN的基本原理

8.2.1 生成模型：从图像到编码，从编码到图像

8.2.2 GAN的基本效果

8.2.3 GAN的训练方法

8.3 实例：DCGAN及训练过程

8.3.1 网络架构

8.3.2 训练代码

8.4 GAN的更多架构和应用

8.4.1 图像转移：CycleGAN系列

8.4.2 生成高分辨率图像：nVidia的改进

8.4.3 自动提取信息：InfoGAN

8.4.4 更多应用

8.5 更多的生成模型方法

8.5.1 自编码器：从AE到VAE

8.5.2 逐点生成：PixelRNN和PixelCNN系列

8.5.3 将VAE和GAN结合：CVAE-GAN

第9章 通向智能之秘

9.1 计算机视觉的难度

9.2 对抗样本，与深度网络的特点

9.3 人工智能的挑战与机遇

9.3.1 棋类游戏中的电脑陷阱

9.3.2 偏见、过滤气泡与道德困境

9.3.3 语言的迷局

9.3.4 强化学习、机器人与目标函数

9.3.5 创造力、审美与意识之谜

9.3.6 预测学习：机器学习的前沿

9.4 深度学习的理论发展

9.4.1 超越反向传播：预测梯度与生物模型

9.4.2 超越神经网络：Capsule与gcForest

9.4.3 泛化问题

9.5 深度学习与人工智能的展望

9.5.1 工程层面

9.5.2 理论层面

9.5.3 应用层面

跋 人工智能与我们的未来

附录 深度学习与AI的网络资源