破解深度学习(核心篇):模型算法与实现电子书

内容提要

作者简介

前言

资源与支持

第1章 复杂卷积神经网络：捕获精细特征

1.1 AlexNet

1.1.1 AlexNet简介

1.1.2 代码实现

1.1.3 模型训练

1.1.4 小结

1.2 VGGNet

1.2.1 VGGNet简介

1.2.2 代码实现

1.2.3 模型训练

1.2.4 小结

1.3 批归一化方法

1.3.1 批归一化简介

1.3.2 代码实现

1.3.3 模型训练

1.3.4 小结

1.4 GoogLeNet

1.4.1 GoogLeNet简介

1.4.2 Inception结构

1.4.3 GoogLeNet的模型结构

1.4.4 代码实现

1.4.5 模型训练

1.4.6 小结

1.5 ResNet

1.5.1 ResNet简介

1.5.2 残差结构

1.5.3 ResNet模型结构

1.5.4 代码实现

1.5.5 模型训练

1.5.6 小结

1.6 DenseNet

1.6.1 DenseNet简介

1.6.2 代码实现

1.6.3 模型训练

1.6.4 小结

第2章 复杂循环神经网络：为记忆插上翅膀

2.1 双向RNN和深度RNN

2.1.1 双向RNN

2.1.2 深度RNN

2.1.3 小结

2.2 RNN长期依赖问题

2.2.1 什么是长期依赖

2.2.2 长期记忆失效原因

2.2.3 截断时间步

2.2.4 小结

2.3 长短期记忆网络及其变体

2.3.1 核心思想

2.3.2 网络结构

2.3.3 遗忘门

2.3.4 输入门

2.3.5 输出门

2.3.6 门控循环单元

2.3.7 小结

2.4 四种RNN代码实现

2.4.1 模型定义

2.4.2 模型实验

2.4.3 效果对比

2.4.4 小结

第3章 复杂注意力神经网络：大模型的力量

3.1 BERT模型

3.1.1 3种模型结构

3.1.2 词嵌入

3.1.3 预训练：掩码语言模型

3.1.4 预训练：下一句预测

3.1.5 微调

3.1.6 优缺点

3.1.7 小结

3.2 GPT系列模型

3.2.1 GPT-1模型思想和结构

3.2.2 GPT-1无监督预训练和监督微调

3.2.3 GPT-1数据集和性能特点

3.2.4 GPT-2模型思想和结构

3.2.5 GPT-2 数据集和性能特点

3.2.6 GPT-3 模型思想和结构

3.2.7 基于情景学习的对话模式

3.2.8 GPT-3 数据集和性能特点

3.2.9 小结

3.3 T5模型

3.3.1 基本思想

3.3.2 词表示发展史

3.3.3 模型结构

3.3.4 预训练流程

3.3.5 预训练数据集

3.3.6 模型版本

3.3.7 小结

3.4 ViT模型

3.4.1 Transformer的好处

3.4.2 模型结构

3.4.3 数据预处理

3.4.4 图片块和位置嵌入

3.4.5 Transformer编码器

3.4.6 MLP头

3.4.7 性能对比

3.4.8 小结

3.5 Swin Transformer模型

3.5.1 要解决的问题

3.5.2 模型结构

3.5.3 输入预处理

3.5.4 四个阶段

3.5.5 Swin Transformer块

3.5.6 窗口注意力

3.5.7 计算复杂度分析

3.5.8 移动窗口多头自注意力机制

3.5.9 特征图循环移位计算

3.5.10 masked MSA操作

3.5.11 小结

第4章 深度生成模型：不确定性的妙用

4.1 蒙特卡洛方法

4.1.1 采样

4.1.2 重要性采样

4.1.3 马尔可夫链蒙特卡洛方法

4.1.4 小结

4.2 变分推断方法

4.2.1 参数估计

4.2.2 问题定义

4.2.3 算法思路

4.2.4 KL散度

4.2.5 公式推导

4.2.6 高斯混合模型实例

4.2.7 与MCMC方法对比

4.2.8 小结

4.3 变分自编码器

4.3.1 降维思想

4.3.2 自编码器

4.3.3 VAE基本思想

4.3.4 隐空间可视化

4.3.5 神经网络实现

4.3.6 重新参数化技巧

4.3.7 小结

4.4 生成对抗网络

4.4.1 什么是对抗生成思想

4.4.2 模型结构

4.4.3 判别器

4.4.4 生成器

4.4.5 训练流程

4.4.6 损失函数

4.4.7 小结

4.5 扩散模型

4.5.1 模型对比

4.5.2 基本思想

4.5.3 前向过程

4.5.4 逆向过程

4.5.5 损失函数

4.5.6 损失函数的参数化

4.5.7 训练流程

4.5.8 小结

4.6 深度生成模型项目实战

4.6.1 代码实现

4.6.2 VAE模型

4.6.3 GAN模型

4.6.4 小结

第5章 计算机视觉：让智慧可见

5.1 自定义数据加载

5.1.1 数据加载

5.1.2 数据准备

5.1.3 ImageFolder方法

5.1.4 自定义数据集示例1

5.1.5 自定义数据集示例2

5.1.6 小结

5.2 图像数据增强

5.2.1 数据增强简介

5.2.2 代码准备

5.2.3 常见图像数据增强方法

5.2.4 小结

5.3 迁移学习

5.3.1 迁移学习简介

5.3.2 ResNet预训练模型

5.3.3 ViT预训练模型

5.3.4 小结

5.4 经典计算机视觉数据集

5.4.1 数据集简介

5.4.2 小结

5.5 项目实战：猫狗大战

5.5.1 项目简介

5.5.2 数据准备

5.5.3 模型训练

5.5.4 模型预测

5.5.5 小结

第6章 自然语言处理：人机交互懂你所说

6.1 词嵌入和Word2Vec

6.1.1 独热编码

6.1.2 Word2Vec

6.1.3 Gensim代码实现

6.1.4 小结

6.2 词义搜索和句义表示

6.2.1 文本搜索方法

6.2.2 正则搜索

6.2.3 词义搜索

6.2.4 距离计算方法

6.2.5 句子向量

6.2.6 代码实现

6.2.7 常见应用

6.2.8 小结

6.3 预训练模型

6.3.1 预训练和迁移学习

6.3.2 迁移学习族谱

6.3.3 大语言模型

6.3.4 LLM进化方向

6.3.5 BERT系列进化

6.3.6 GPT系列进化

6.3.7 多模态模型

6.3.8 存在的问题

6.3.9 小结

6.4 Hugging Face库介绍

6.4.1 核心库

6.4.2 官网介绍

6.4.3 代码调用

6.4.4 小结

6.5 NLP数据集

6.5.1 预训练数据集

6.5.2 下游任务数据集

6.5.3 数据集使用

6.5.4 小结

6.6 项目实战：电影评论情感分析

6.6.1 Pipeline

6.6.2 模型实战

6.6.3 直接微调

6.6.4 小结

第7章 多模态生成式人工智能：引领智能新时代

7.1 CLIP模型

7.1.1 计算机视觉研究新范式

7.1.2 对比学习预训练

7.1.3 图像编码器

7.1.4 文本编码器

7.1.5 数据收集

7.1.6 图像分类

7.1.7 模型训练和优缺点分析

7.1.8 小结

7.2 DALL·E系列模型

7.2.1 初代模型结构

7.2.2 dVAE模块

7.2.3 Transformer模块

7.2.4 图像生成过程

7.2.5 DALL·E 2 模型结构

7.2.6 CLIP模块

7.2.7 prior模块

7.2.8 decoder模块

7.2.9 DALL·E 2 推理过程

7.2.10 模型效果

7.2.11 局限分析

7.2.12 小结

7.3 InstructGPT模型

7.3.1 GPT系列回顾

7.3.2 指示学习和提示学习

7.3.3 人工反馈强化学习

7.3.4 训练流程

7.3.5 数据集采集

7.3.6 监督微调

7.3.7 奖励模型

7.3.8 强化学习

7.3.9 优缺点分析

7.3.10 小结

7.4 深度学习最新发展趋势分析

7.4.1 趋势1：多模态融合

7.4.2 趋势2：AIGC大爆发

7.4.3 趋势3：大小模型分化

7.4.4 趋势4：概率分布模型的大发展

7.4.5 趋势5：深度强化学习的春天

7.4.6 更多展望

7.5 下一步学习的建议

7.5.1 动手实践

7.5.2 PyTorch官方文档和课程

7.5.3 推荐网站

7.5.4 多读论文

7.5.5 关于强化学习

7.5.6 继续加油