深度学习入门5:生成模型电子书

扉页

版权页

内容提要

版权声明

Reilly Media, Inc. 介绍

前言

步骤1 正态分布

1.1 概率的基础知识

1.1.1 随机变量和概率分布

1.1.2 概率分布的类型

1.1.3 期望值和方差

1.2 正态分布概述

1.2.1 正态分布的概率密度函数

1.2.2 正态分布的代码实现

1.2.3 参数的作用

1.3 中心极限定理

1.3.1 什么是中心极限定理

1.3.2 中心极限定理的实验

1.4 样本和的概率分布

1.4.1 样本和的期望值和方差

1.4.2 通过代码确认

1.4.3 均匀分布的均值和方差★

1.5 身边的正态分布

步骤2 最大似然估计

2.1 生成模型的基础知识

2.1.1 什么是生成模型

2.1.2 总体和样本

2.2 使用真实数据实现生成模型

2.2.1 读取身高数据集

2.2.2 基于正态分布的生成模型

2.3 最大似然估计的理论知识

2.3.1 似然的最大化

2.3.2 利用导数求最大值

2.3.3 正态分布的最大似然估计★

2.4 生成模型的用途

2.4.1 新的数据的生成

2.4.2 概率的计算

步骤3 多维正态分布

3.1 NumPy和多维数组

3.1.1 多维数组

3.1.2 NumPy中的多维数组

3.1.3 逐元素的运算

3.1.4 向量的内积和矩阵积

3.2 多维正态分布概述

3.2.1 多维正态分布的数学式

3.2.2 多维正态分布的实现

3.3 二维正态分布的可视化

3.3.1 三维图形的绘制方法

3.3.2 等高线的绘制

3.3.3 二维正态分布的图形

3.4 多维正态分布的最大似然估计

3.4.1 进行最大似然估计

3.4.2 最大似然估计的实现

3.4.3 使用真实数据

步骤4 高斯混合模型

4.1 我们身边的多峰分布

4.2 高斯混合模型的数据生成

4.2.1 利用GMM生成数据

4.2.2 生成数据的代码

4.3 GMM的数学式

4.3.1 概率的复习

4.3.2 GMM的数学式

4.3.3 GMM的实现

4.4 参数估计中的难点

步骤5 EM算法

5.1 KL散度

5.1.1 关于数学式的表示方法

5.1.2 KL散度的定义式

5.1.3 KL散度与最大似然估计之间的关系

5.2 EM算法的推导①

5.2.1 拥有潜变量的模型

5.2.2 任意概率分布q（z）

5.3 EM算法的推导②

5.3.1 ELBO（证据下界）

5.3.2 进入EM算法

5.3.3 扩展到多个数据

5.3.4 log p（x；θnew）≥log p（x；θold）的证明★

5.4 GMM和EM算法★

5.4.1 EM算法的E步骤★

5.4.2 EM算法的M步骤★

5.5 EM算法的实现

5.5.1 数据集与GMM的代码

5.5.2 E步骤和M步骤的实现

5.5.3 数据生成

步骤6 神经网络

6.1 PyTorch和梯度法

6.1.1 PyTorch的安装

6.1.2 张量的计算

6.1.3 梯度法

6.2 线性回归

6.2.1 玩具数据集

6.2.2 线性回归的理论知识

6.2.3 线性回归的实现

6.3 参数与优化器

6.3.1 Parameter类和Module类

6.3.2 优化器

6.4 神经网络的实现

6.4.1 非线性数据集

6.4.2 线性变换和激活函数

6.4.3 神经网络的实现

6.5 torchvision和数据集

6.5.1 torchvision的安装

6.5.2 MNIST数据集

6.5.3 预处理

6.5.4 数据加载器

步骤7 变分自编码器

7.1 VAE和解码器

7.1.1 单个正态分布

7.1.2 GMM

7.1.3 VAE概述

7.1.4 EM算法的缺点

7.2 VAE和编码器

7.2.1 从EM算法到VAE

7.2.2 应用于整个数据集

7.3 ELBO的优化

7.3.1 ELBO的评估

7.3.2 重参数化技巧

7.4 VAE的实现

7.4.1 实现的策略

7.4.2 VAE的代码

7.4.3 进行训练的代码

7.4.4 新的图像的生成

步骤8 扩散模型的理论知识

8.1 从VAE到扩散模型

8.1.1 复习VAE

8.1.2 潜变量的分层化

8.1.3 进入扩散模型

8.2 扩散过程和逆扩散过程

8.2.1 扩散过程

8.2.2 逆扩散过程

8.3 ELBO的计算①

8.3.1 扩散模型的ELBO

8.3.2 ELBO数学式的展开

8.4 ELBO的计算②

8.4.1 q（xt|x0）的数学式

8.4.2 ELBO的近似解

8.4.3 q（xt|x0）的推导★

8.5 ELBO的计算③

8.5.1 q（xt-1|xt，x0）的数学式

8.5.2 ELBO的近似解

8.5.3 q（xt-1|xt，x0）的推导★

8.6 扩散模型的训练

8.6.1 神经网络预测什么

8.6.2 恢复原始数据的神经网络

8.6.3 预测噪声的神经网络

8.6.4 新数据的采样

步骤9 扩散模型的实现

9.1 U-Net

9.1.1 什么是U-Net

9.1.2 U-Net的实现

9.2 正弦位置编码

9.2.1 什么是正弦位置编码

9.2.2 正弦位置编码的实现

9.2.3 嵌入到U-Net中

9.3 扩散过程

9.3.1 基于q（xt|xt-1）采样

9.3.2 对图像的扩散过程

9.3.3 基于q（xt|x0）采样

9.3.4 Diffuser类的实现

9.4 数据生成

9.4.1 一步去噪处理

9.4.2 数据生成的实现

9.5 扩散模型的训练（实现篇）

9.5.1 扩散模型的训练代码

9.5.2 训练结果

步骤10 扩散模型的应用

10.1 条件扩散模型

10.1.1 向扩散模型添加条件

10.1.2 条件扩散模型的实现

10.2 得分函数

10.2.1 什么是得分函数

10.2.2 式10.1的证明★

10.3 分类器指引

10.3.1 什么是分类器

10.3.2 分类器指引的推导

10.4 无分类器指引

10.4.1 无分类器指引的理论知识

10.4.2 无分类器指引的实现

10.5 Stable Diffusion

10.5.1 Stable Diffusion的工作原理

10.5.2 Diffusers库

附录A 多维正态分布最大似然估计的推导★

附录B 詹生不等式

附录C 分层VAE的理论与实现★

附录D 数学式及符号一览表

后记

参考文献