深度学习实战电子书

内容简介

前言

第1章 深度学习的发展介绍

1.1 如何阅读本书

1.2 深度学习沉浮史

1.2.1 模拟生物大脑的疯狂远古时代

1.2.2 联结主义近代

1.2.3 百花齐放，层次结构主导，模型巨大的当代

1.3 Python简易教程

1.3.1 Anaconda搭建

1.3.2 IPython Notebook使用

1.3.3 Python基本用法

1.3.3.1 基本数据类型

1.3.3.2 列表（Lists）

1.3.3.3 字典（Dictionaries）

1.3.3.4 集合（Sets）

1.3.3.5 元组（Tuples）

1.3.3.6 函数（Functions）

1.3.3.7 类（Classes）

1.3.4 NumPy

1.3.4.1 数组（Arrays）

1.3.4.2 数组运算

1.3.4.3 广播（Broadcasting）

1.3.5 Matplotlib

第2章 机器学习快速入门

2.1 学习算法

2.1.1 学习任务

2.1.2 性能度量

2.1.3 学习经验

2.2 代价函数

2.2.1 均方误差函数

2.2.2 极大似然估计

2.3 梯度下降法

2.3.1 批量梯度下降法

2.3.2 随机梯度下降法

2.4 过拟合与欠拟合

2.4.1 没免费午餐理论

2.4.2 正则化

2.5 超参数与验证集

2.6 Softmax编码实战

2.6.1 编码说明

2.6.2 熟练使用CIFAR-10 数据集

2.6.3 显式循环计算损失函数及其梯度

2.6.4 向量化表达式计算损失函数及其梯度

2.6.5 最小批量梯度下降算法训练Softmax分类器

2.6.6 使用验证数据选择超参数

2.7 参考代码

第3章 前馈神经网络

3.1 神经元

3.1.1 Sigmoid神经元

3.1.2 Tanh神经元

3.1.3 ReLU神经元

3.2 前馈神经网络

3.2.1 输出层单元

3.2.2 隐藏层单元

3.2.3 网络结构设计

3.3 BP算法

3.4 深度学习编码实战上

3.4.1 实现仿射传播

3.4.2 实现ReLU传播

3.4.3 组合单层神经元

3.4.4 实现浅层神经网络

3.4.5 实现深层全连接网络

3.5 参考代码

第4章 深度学习正则化

4.1 参数范数惩罚

4.1.1 L2参数正则化

4.1.2 L1正则化

4.2 参数绑定与参数共享

4.3 噪声注入与数据扩充

4.4 稀疏表征

4.5 早停

4.6 Dropout

4.6.1 个体与集成

4.6.2 Dropout

4.7 深度学习编码实战中

4.7.1 Dropout传播

4.7.2 组合Dropout传播层

4.7.3 Dropout神经网络

4.7.4 解耦训练器trainer

4.7.5 解耦更新器updater

4.7.6 正则化实验

4.8 参考代码

第5章 深度学习优化

5.1 神经网络优化困难

5.1.1 局部最优

5.1.2 鞍点

5.1.3 梯度悬崖

5.1.4 梯度消失或梯度爆炸

5.1.5 梯度不精确

5.1.6 优化理论的局限性

5.2 随机梯度下降

5.3 动量学习法

5.4 AdaGrad和RMSProp

5.5 Adam

5.6 参数初始化策略

5.7 批量归一化

5.7.1 BN算法详解

5.7.2 BN传播详解

5.8 深度学习编码实战下

5.8.1 Momentum

5.8.2 RMSProp

5.8.3 Adam

5.8.4 更新规则比较

5.8.5 BN前向传播

5.8.6 BN反向传播

5.8.7 使用BN的全连接网络

5.8.8 BN算法与权重标准差比较

5.9 参考代码

第6章 卷积神经网络

6.1 卷积操作

6.2 卷积的意义

6.2.1 稀疏连接

6.2.2 参数共享

6.3 池化操作

6.4 设计卷积神经网络

6.4.1 跨步卷积

6.4.2 零填充

6.4.3 非共享卷积

6.4.4 平铺卷积

6.5 卷积网络编码练习

6.5.1 卷积前向传播

6.5.2 卷积反向传播

6.5.3 最大池化前向传播

6.5.4 最大池化反向传播

6.5.5 向量化执行

6.5.6 组合完整卷积层

6.5.7 浅层卷积网络

6.5.8 空间批量归一化

6.6 参考代码

第7章 循环神经网络

7.1 循环神经网络

7.1.1 循环神经元展开

7.1.2 循环网络训练

7.2 循环神经网络设计

7.2.1 双向循环网络结构

7.2.2 编码－解码网络结构

7.2.3 深度循环网络结构

7.3 门控循环神经网络

7.3.1 LSTM

7.3.2 门控循环单元

7.4 RNN编程练习

7.4.1 RNN单步传播

7.4.2 RNN时序传播

7.4.3 词嵌入

7.4.4 RNN输出层

7.4.5 时序Softmax损失

7.4.6 RNN图片说明任务

7.5 LSTM编程练习

7.5.1 LSTM单步传播

7.5.2 LSTM时序传播

7.5.3 LSTM实现图片说明任务

7.6 参考代码

7.6.1 RNN参考代码

7.6.2 LSTM参考代码

第8章 TensorFlow快速入门

8.1 TensorFlow介绍

8.2 TensorFlow 1.0安装指南

8.2.1 双版本切换Anaconda

8.2.2 安装CUDA 8.0

8.2.3 安装cuDNN

8.2.4 安装TensorFlow

8.2.5 验证安装

8.3 TensorFlow基础

8.3.1 Tensor

8.3.2 TensorFlow核心API教程

8.3.3 tf.train API

8.3.4 tf.contrib.learn

8.4 TensorFlow构造CNN

8.4.1 构建Softmax模型

8.4.2 使用TensorFlow训练模型

8.4.3 使用TensorFlow评估模型

8.4.4 使用TensorFlow构建卷积神经网络

8.5 TensorBoard快速入门

8.5.1 TensorBoard可视化学习

8.5.2 计算图可视化