大模型技术30讲电子书

序言

致谢

前言

读者对象

你将从本书中获得什么

如何阅读本书

在线资源

第一部分 神经网络与深度学习

第 1 章 嵌入、潜空间和表征

1.1 嵌入

1.2 潜空间

1.3 表征

1.4 练习

1.5 参考文献

第 2 章 自监督学习

2.1 自监督学习与迁移学习

2.2 使用无标签数据

2.3 自预测与对比自监督学习

2.4 练习

2.5 参考文献

第 3 章 小样本学习

3.1 数据集与术语

3.2 练习

第 4 章 彩票假设

4.1 彩票假设的训练流程

4.2 实际意义与局限性

4.3 练习

4.4 参考文献

第 5 章 利用数据来减少过拟合现象

5.1 常用方法

5.1.1 采集更多数据

5.1.2 数据增强

5.1.3 预训练

5.2 其他方法

5.3 练习

5.4 参考文献

第 6 章 通过改进模型减少过拟合现象

6.1 常用方法

6.1.1 正则化

6.1.2 选择更小的模型

6.1.3 集成方法

6.2 其他方法

6.3 选择正则化技术

6.4 练习

6.5 参考文献

第 7 章 多 GPU 训练模式

7.1 训练模式

7.1.1 模型并行

7.1.2 数据并行

7.1.3 张量并行

7.1.4 流水线并行

7.1.5 序列并行

7.2 建议

7.3 练习

7.4 参考文献

第 8 章 Transformer 架构的成功

8.1 注意力机制

8.2 通过自监督学习进行预训练

8.3 大规模参数

8.4 轻松并行化

8.5 练习

8.6 参考文献

第 9 章 生成式 AI 模型

9.1 生成式模型与判别式模型

9.2 深度生成式模型的类型

9.2.1 能量模型

9.2.2 变分自编码器

9.2.3 生成对抗网络

9.2.4 流模型

9.2.5 自回归模型

9.2.6 扩散模型

9.2.7 一致性模型

9.3 建议

9.4 练习

9.5 参考文献

第 10 章 随机性的由来

10.1 模型权重初始化

10.2 数据集采样与重排

10.3 非确定性算法

10.4 不同运行时的算法

10.5 硬件与驱动程序

10.6 随机性与生成式 AI

10.7 练习

10.8 参考文献

第二部分 计算机视觉

第 11 章 计算参数量

11.1 如何计算参数量

11.1.1 卷积层

11.1.2 全连接层

11.2 实际应用

11.3 练习

第 12 章 全连接层和卷积层

12.1 当卷积核与输入大小相同时

12.2 当卷积核大小为 1 时

12.3 建议

12.4 练习

第 13 章 ViT 架构所需的大型训练集

13.1 CNN 中的归纳偏置

13.2 ViT 可以比 CNN 表现得更好

13.3 ViT 中的归纳偏置

13.4 建议

13.5 练习

13.6 参考文献

第三部分 自然语言处理

第 14 章 分布假设

14.1 Word2vec、BERT 和 GPT

14.2 假设成立吗

14.3 练习

14.4 参考文献

第 15 章 文本数据增强

15.1 同义词替换

15.2 词语删除

15.3 词语位置交换

15.4 句子乱序

15.5 噪声注入

15.6 回译

15.7 合成数据生成

15.8 建议

15.9 练习

15.10 参考文献

第 16 章 自注意力

16.1 RNN 中的注意力

16.2 自注意力机制

16.3 练习

16.4 参考文献

第 17 章 编码器和解码器风格的 Transformer 架构

17.1 原始的 Transformer

17.1.1 编码器

17.1.2 解码器

17.2 编码器-解码器混合模型

17.3 专业术语

17.4 当代 Transformer 模型

17.5 练习

17.6 参考文献

第 18 章 使用和微调预训练 Transformer

18.1 使用 Transformer 执行分类任务

18.2 上下文学习、索引和提示词调优

18.3 参数高效的微调方法

18.4 基于人类反馈的强化学习

18.5 适配预训练语言模型

18.6 练习

18.7 参考文献

第 19 章 评测生成式大模型

19.1 大模型的评测指标

19.1.1 困惑度

19.1.2 BLEU

19.1.3 ROUGE

19.1.4 BERTScore

19.2 替代指标

19.3 练习

19.4 参考文献

第四部分 生产与部署

第 20 章 无状态训练与有状态训练

20.1 无状态（重）训练

20.2 有状态训练

20.3 练习

第 21 章 以数据为中心的人工智能

21.1 以数据为中心的人工智能与以模型为中心的人工智能

21.2 建议

21.3 练习

21.4 参考文献

第 22 章 加速推理

22.1 并行化

22.2 向量化

22.3 循环分块

22.4 算子融合

22.5 量化

22.6 练习

22.7 参考文献

第 23 章 数据分布偏移

23.1 协变量偏移

23.2 标签偏移

23.3 概念偏移

23.4 领域偏移

23.5 数据分布偏移的类型

23.6 练习

23.7 参考文献

第五部分 预测性能与模型评测

第 24 章 泊松回归与序回归

练习

第 25 章 置信区间

25.1 定义置信区间

25.2 方法

25.2.1 方法 1：正态近似区间

25.2.2 方法 2：使用自助法构建训练集

25.2.3 方法 3：使用自助抽样法构建测试集预测结果

25.2.4 方法 4：使用不同的随机种子重新训练模型

25.3 练习

25.4 参考文献

第 26 章 置信区间与共形预测

26.1 置信区间和预测区间

26.2 预测区间与共形预测

26.3 预测区域、预测区间与预测集合

26.4 计算共形预测

26.5 共形预测示例

26.6 共形预测的优点

26.7 建议

26.8 练习

26.9 参考文献

第 27 章 合适的模型度量

27.1 标准

27.2 均方误差

27.3 交叉熵损失

27.4 练习

第 28 章 折交叉验证中的

28.1 选择 值时的权衡考量

28.2 确定适当的 值

28.3 练习

28.4 参考文献

第 29 章 训练集和测试集的不一致性

练习

第 30 章 有限的有标签数据

30.1 利用有限的有标签数据提高模型性能

30.1.1 标注更多数据

30.1.2 自助抽样数据

30.1.3 迁移学习

30.1.4 自监督学习

30.1.5 主动学习

30.1.6 小样本学习

30.1.7 元学习

30.1.8 弱监督学习

30.1.9 半监督学习

30.1.10 自训练

30.1.11 多任务学习

30.1.12 多模态学习

30.1.13 归纳偏置

30.2 建议

30.3 练习

30.4 参考文献

后记

附录 练习答案

第 1 章

第 2 章

第 3 章

第 4 章

第 5 章

第 6 章

第 7 章

第 8 章

第 9 章

第 10 章

第 11 章

第 12 章

第 13 章

第 14 章

第 15 章

第 16 章

第 17 章

第 18 章

第 19 章

第 20 章

第 21 章

第 22 章

第 23 章

第 24 章

第 25 章

第 26 章

第 27 章

第 28 章

第 29 章

第 30 章

看完了