生成式人工智能(基于PyTorch实现)电子书

内容提要

推荐序

致谢

关于本书

作者简介

封面主图简介

资源与支持

第一部分 生成式人工智能简介

第1章 生成式人工智能和PyTorch

1.1 生成式人工智能和PyTorch简介

1.1.1 生成式人工智能

1.1.2 Python编程语言

1.1.3 使用PyTorch作为人工智能框架

1.2 生成对抗网络（GAN）

1.2.1 GAN概述

1.2.2 示例：生成动漫人脸

1.2.3 为什么要关注GAN

1.3 Transformer

1.3.1 注意力机制简介

1.3.2 Transformer架构简介

1.3.3 多模态Transformer和预训练LLM

1.4 为什么要从零开始构建生成模型

1.5 小结

第2章 使用PyTorch进行深度学习

2.1 PyTorch中的数据类型

2.1.1 创建PyTorch张量

2.1.2 对PyTorch张量进行索引和切片

2.1.3 PyTorch张量的形状

2.1.4 PyTorch张量的数学运算

2.2 使用PyTorch完成端到端深度学习项目

2.2.1 PyTorch深度学习：高层次概述

2.2.2 数据预处理

2.3 二分类

2.3.1 创建批次

2.3.2 构建并训练二分类模型

2.3.3 测试二分类模型

2.4 多类别分类

2.4.1 验证集和早停止

2.4.2 构建并训练多类别分类模型

2.5 小结

第3章 生成对抗网络：生成形状和数字

3.1 训练GAN的步骤

3.2 准备训练数据

3.2.1 形成指数增长曲线的训练数据集

3.2.2 准备训练数据集

3.3 构建GAN

3.3.1 判别器网络

3.3.2 生成器网络

3.3.3 损失函数、优化器和早停止

3.4 训练GAN并使用GAN生成形状

3.4.1 GAN的训练

3.4.2 保存并使用训练好的生成器

3.5 用模式生成数字

3.5.1 独热变量

3.5.2 使用GAN生成具备模式的数字

3.5.3 训练GAN生成具备模式的数字

3.5.4 保存并使用训练好的模型

3.6 小结

第二部分 图像生成

第4章 使用GAN生成图像

4.1 使用GAN生成服装灰度图像

4.1.1 训练样本和判别器

4.1.2 生成灰度图像的生成器

4.1.3 训练GAN生成服装图像

4.2 卷积层

4.2.1 卷积运算的工作原理

4.2.2 步幅和填充对卷积运算的影响

4.3 转置卷积和批量归一化

4.3.1 转置卷积层的工作原理

4.3.2 批量归一化

4.4 彩色动漫人脸图像

4.4.1 下载动漫人脸图像

4.4.2 PyTorch中的通道前置彩色图像

4.5 深度卷积GAN（DCGAN）

4.5.1 构建DCGAN

4.5.2 训练并使用DCGAN

4.6 小结

第5章 在生成图像中选择特征

5.1 眼镜数据集

5.1.1 下载眼镜数据集

5.1.2 可视化眼镜数据集中的图像

5.2 cGAN和沃瑟斯坦距离

5.2.1 带有梯度惩罚的WGAN

5.2.2 cGAN

5.3 构建cGAN

5.3.1 cGAN中的批评者

5.3.2 cGAN中的生成器

5.3.3 权重初始化和梯度惩罚函数

5.4 训练cGAN

5.4.1 为输入添加标签

5.4.2 训练模型

5.5 在生成图像中选择特征的方法

5.5.1 选择生成戴眼镜或不戴眼镜的人脸图像

5.5.2 潜空间中的向量运算

5.5.3 同时选择两个特征

5.6 小结

第6章 CycleGAN：将金发转换为黑发

6.1 CycleGAN和循环一致性损失

6.1.1 CycleGAN

6.1.2 循环一致性损失

6.2 名人人脸数据集

6.2.1 下载名人人脸数据集

6.2.2 处理黑发图像和金发图像的数据

6.3 构建CycleGAN模型

6.3.1 创建两个判别器

6.3.2 创建两个生成器

6.4 用CycleGAN在黑发和金发之间转换

6.4.1 训练CycleGAN在黑发和金发之间转换

6.4.2 黑发图像和金发图像的往返转换

6.5 小结

第7章 利用变分自编码器生成图像

7.1 自编码器概述

7.1.1 自编码器

7.1.2 构建并训练自编码器的步骤

7.2 构建并训练能生成数字的自编码器

7.2.1 收集手写数字

7.2.2 构建和训练自编码器

7.2.3 保存并使用训练好的自编码器

7.3 变分自编码器

7.3.1 AE与VAE的区别

7.3.2 训练可生成人脸图像的VAE所需的蓝图

7.4 生成人脸图像的变分自编码器

7.4.1 构建变分自编码器

7.4.2 训练变分自编码器

7.4.3 使用训练好的VAE生成图像

7.4.4 使用训练好的VAE进行编码运算

7.5 小结

第三部分 自然语言处理和Transformer

第8章 利用循环神经网络生成文本

8.1 循环神经网络（RNN）简介

8.1.1 文本生成过程中的挑战

8.1.2 循环神经网络的工作原理

8.1.3 训练长短期记忆（LSTM）模型的步骤

8.2 自然语言处理（NLP）的基本原理

8.2.1 词元化方法

8.2.2 词嵌入方法

8.3 准备数据以训练LSTM模型

8.3.1 下载并清理文本

8.3.2 创建多批训练数据

8.4 构建并训练LSTM模型

8.4.1 构建LSTM模型

8.4.2 训练LSTM模型

8.5 使用训练好的LSTM模型生成文本

8.5.1 通过预测下一个词元来生成文本

8.5.2 文本生成中的温度和top-K采样

8.6 小结

第9章 实现注意力机制和Transformer

9.1 注意力机制和Transformer

9.1.1 注意力机制

9.1.2 Transformer架构

9.1.3 Transformer的类型

9.2 构建编码器

9.2.1 实现注意力机制

9.2.2 创建编码器层

9.3 构建编码器-解码器Transformer

9.3.1 创建解码器层

9.3.2 创建编码器-解码器Transformer

9.4 将所有部件组合在一起

9.4.1 定义生成器

9.4.2 创建能进行两种语言对译的模型

9.5 小结

第10章 训练能将英语翻译成法语的Transformer

10.1 子词词元化

10.1.1 英语句子和法语句子的词元化处理

10.1.2 序列填充和批次创建

10.2 词嵌入和位置编码

10.2.1 词嵌入

10.2.2 位置编码

10.3 训练Transformer将英语翻译成法语

10.3.1 损失函数和优化器

10.3.2 训练循环

10.4 用训练好的模型将英语翻译成法语

10.5 小结

第11章 从零开始构建GPT

11.1 GPT-2的架构和因果自注意力

11.1.1 GPT-2的架构

11.1.2 GPT-2中的词嵌入和位置编码

11.1.3 GPT-2中的因果自注意力

11.2 从零开始构建GPT-2XL

11.2.1 字节对编码器（BPE）词元化

11.2.2 GELU激活函数

11.2.3 因果自注意力

11.2.4 构建GPT-2XL模型

11.3 载入预训练权重并生成文本

11.3.1 载入GPT-2XL的预训练参数

11.3.2 定义用于生成文本的generate()函数

11.3.3 用GPT-2XL生成文本

11.4 小结

第12章 训练生成文本的Transformer

12.1 从零开始构建并训练GPT

12.1.1 文本生成GPT的架构

12.1.2 文本生成GPT模型的训练过程

12.2 海明威小说的文本词元化

12.2.1 对文本进行词元化

12.2.2 创建训练批次

12.3 构建用于生成文本的GPT

12.3.1 模型超参数

12.3.2 构建因果自注意力机制模型

12.3.3 构建GPT模型

12.4 训练GPT模型以生成文本

12.4.1 训练GPT模型

12.4.2 生成文本的函数

12.4.3 使用不同版本的训练好的模型生成文本

12.5 小结

第四部分 实际应用和新进展

第13章 使用MuseGAN生成音乐

13.1 音乐的数字化表示

13.1.1 音符、八度音阶和音高

13.1.2 多轨音乐简介

13.1.3 音乐的数字化表示：钢琴卷谱

13.2 音乐生成所用的蓝图

13.2.1 用和弦、风格、旋律和节奏构建音乐

13.2.2 训练MuseGAN所用的蓝图

13.3 准备MuseGAN所需的训练数据

13.3.1 下载训练数据

13.3.2 将多维对象转换为音乐作品

13.4 构建MuseGAN

13.4.1 MuseGAN中的批评者

13.4.2 MuseGAN中的生成器

13.4.3 优化器和损失函数

13.5 训练MuseGAN以生成音乐

13.5.1 训练MuseGAN

13.5.2 使用训练好的MuseGAN生成音乐

13.6 小结

第14章 构建并训练音乐Transformer

14.1 音乐Transformer简介

14.1.1 表示基于演奏的音乐

14.1.2 音乐Transformer的架构

14.1.3 训练音乐Transformer的过程

14.2 词元化音乐作品

14.2.1 下载训练数据

14.2.2 词元化MIDI文件

14.2.3 准备训练数据

14.3 构建用于生成音乐的GPT

14.3.1 音乐Transformer中的超参数

14.3.2 构建音乐Transformer

14.4 训练和使用音乐Transformer

14.4.1 训练音乐Transformer

14.4.2 使用训练好的Transformer生成音乐

14.5 小结

第15章 扩散模型和文生图Transformer

15.1 去噪扩散模型简介

15.1.1 正向扩散过程

15.1.2 使用U-Net模型为图像去噪

15.1.3 去噪U-Net模型的训练蓝图

15.2 准备训练数据

15.2.1 作为训练数据的花朵图像

15.2.2 正向扩散过程的可视化

15.3 构建去噪U-Net模型

15.3.1 去噪U-Net模型中的注意力机制

15.3.2 去噪U-Net模型

15.4 训练和使用去噪U-Net模型

15.4.1 训练去噪U-Net模型

15.4.2 使用训练好的模型生成花朵图像

15.5 文生图Transformer

15.5.1 CLIP：一种多模态Transformer

15.5.2 用DALL·E 2进行文生图

15.6 小结

第16章 预训练LLM和LangChain库

16.1 使用OpenAI API生成内容

16.1.1 使用OpenAI API运行文本生成任务

16.1.2 使用OpenAI API生成代码

16.1.3 使用OpenAI DALL·E 2生成图像

16.1.4 使用OpenAI API进行语音生成

16.2 LangChain简介

16.2.1 LangChain库的必要性

16.2.2 在LangChain中使用OpenAI API

16.2.3 零样本提示、单样本提示和少样本提示

16.3 用LangChain创建博学多才的零样本智能体

16.3.1 申请Wolfram Alpha API密钥

16.3.2 在LangChain中创建智能体

16.3.3 用OpenAI GPT添加工具

16.3.4 添加能生成代码和图像的工具

16.4 LLM的局限性和伦理问题

16.4.1 LLM的局限性

16.4.2 LLM的伦理问题

16.5 小结

附录A 安装Python、Jupyter Notebook和PyTorch

A.1 安装Python并设置虚拟环境

A.1.1 安装Anaconda

A.1.2 设置Python虚拟环境

A.1.3 安装Jupyter Notebook

A.2 安装PyTorch

A.2.1 安装不带CUDA的PyTorch

A.2.2 安装带CUDA的PyTorch

附录B 阅读本书需要掌握的基础知识

B.1 深度学习和深度神经网络

B.1.1 神经网络简介

B.1.2 神经网络中不同类型的层

B.1.3 激活函数

B.2 训练深度神经网络

B.2.1 训练过程

B.2.2 损失函数

B.2.3 优化器