大模型导论电子书

内容提要

推荐语（排名不分先后）

前言

资源与支持

第1章 大模型概述

1.1 大模型介绍

1.1.1 生成原理

1.1.2 关键技术

1.1.3 关键术语

1.2 大模型分类

1.2.1 按模型结构划分

1.2.2 按模态划分

1.2.3 按微调方式划分

1.2.4 带插件系统的大模型

1.3 大模型的开发流程

1.3.1 确定项目目标

1.3.2 数据准备

1.3.3 模型设计

1.3.4 模型训练

1.3.5 模型部署

1.3.6 模型应用

1.4 应用场景

1.5 未来发展方向

1.5.1 AI智能体

1.5.2 具身智能

1.6 小结

1.7 课后习题

第2章 数据预处理

2.1 文本数据预处理

2.1.1 构造方法

2.1.2 构造流程

2.1.3 处理手段

2.1.4 常用类库

2.2 图像数据预处理

2.2.1 图像去噪

2.2.2 图像重采样

2.2.3 图像增强

2.3 图文对数据预处理

2.4 Datasets库

2.4.1 安装与配置

2.4.2 使用方法

2.5 小结

2.6 课后习题

第3章 Transformer

3.1 注意力机制

3.1.1 自注意力机制

3.1.2 多头自注意力机制

3.2 Transformer简介

3.2.1 位置编码

3.2.2 整体结构

3.2.3 稀疏Transformer

3.3 Visual Transformer简介

3.3.1 模型结构

3.3.2 与Transformer对比

3.4 Q-Former

3.5 transformers库

3.5.1 基本组成

3.5.2 使用方法

3.5.3 微调实践

3.6 小结

3.7 课后习题

第4章 预训练

4.1 预训练介绍

4.1.1 发展历程

4.1.2 模型类型

4.1.3 掩码预训练

4.2 预训练任务

4.3 应用于下游任务的方法

4.3.1 迁移学习

4.3.2 微调

4.4 预训练模型的应用

4.5 小结

4.6 课后习题

第5章 训练优化

5.1 模型训练挑战

5.2 训练优化技术

5.2.1 数据并行

5.2.2 模型并行

5.2.3 流水线并行

5.2.4 混合精度训练

5.3 训练加速工具

5.3.1 DeepSpeed

5.3.2 Megatron-LM

5.3.3 Colossal-AI

5.3.4 BMTrain

5.4 小结

5.5 课后习题

第6章 模型微调

6.1 监督微调

6.2 PEFT技术

6.2.1 Adapter tuning

6.2.2 Prefix tuning

6.2.3 Prompt tuning

6.2.4 P-tuning v1

6.2.5 P-tuning v2

6.2.6 LoRA

6.2.7 QLoRA

6.3 PEFT库

6.3.1 关键步骤

6.3.2 微调方法

6.4 小结

6.5 课后习题

第7章 模型推理

7.1 模型压缩和加速技术

7.1.1 模型量化

7.1.2 知识蒸馏

7.1.3 模型剪枝

7.1.4 稀疏激活

7.2 推理服务提升技术

7.2.1 KV Cache

7.2.2 PagedAttention

7.3 小结

7.4 课后习题

第8章 PyTorch框架

8.1 安装与配置

8.2 基础组件

8.2.1 张量

8.2.2 CUDA张量

8.2.3 Autograd

8.2.4 DataLoader

8.3 构建线性回归模型

8.4 构建Transformer模型

8.4.1 数据准备与参数设置

8.4.2 位置编码

8.4.3 掩码操作

8.4.4 注意力计算

8.4.5 前馈神经网络

8.4.6 编码器与解码器

8.4.7 构建Transformer

8.4.8 模型训练

8.4.9 模型测试

8.5 小结

8.6 课后习题

第9章 向量数据库

9.1 Milvus

9.1.1 安装与配置

9.1.2 Milvus 1.0的基本操作

9.1.3 Milvus 2.0的基本操作

9.2 Pinecone

9.2.1 注册与配置

9.2.2 基本操作

9.3 Chroma

9.3.1 安装与配置

9.3.2 基本操作

9.4 小结

9.5 课后习题

第10章 前端可视化工具

10.1 Gradio

10.1.1 Gradio安装

10.1.2 常用操作

10.1.3 Interface使用详解

10.1.4 Blocks使用详解

10.2 Streamlit

10.2.1 安装与配置

10.2.2 数据展示API

10.2.3 控件API

10.2.4 页面布局API

10.2.5 状态存储

10.3 小结

10.4 课后习题

第11章 LangChain

11.1 LangChain组件

11.1.1 Models

11.1.2 Prompts

11.1.3 Indexes

11.1.4 Memory

11.1.5 Chains

11.1.6 Agents

11.2 基础操作

11.2.1 Prompts的用法

11.2.2 Chains的用法

11.2.3 Agents的用法

11.2.4 Memory的用法

11.3 进阶实战

11.3.1 对话式检索问答

11.3.2 长短文本总结

11.3.3 结合向量数据库实现问答

11.4 基于私域数据的问答系统

11.4.1 环境准备

11.4.2 模型测试

11.4.3 构建提示词模板

11.4.4 生成词向量

11.4.5 创建向量数据库

11.4.6 构建问答系统

11.5 小结

11.6 课后习题

第12章 常用开源模型的部署与微调

12.1 ChatGLM3模型部署与微调

12.1.1 环境准备

12.1.2 载入模型

12.1.3 数据准备

12.1.4 定义模型

12.1.5 模型训练

12.1.6 保存模型

12.1.7 模型评估

12.2 Baichuan2模型部署与微调

12.2.1 环境准备

12.2.2 载入模型

12.2.3 数据准备

12.2.4 定义模型

12.2.5 模型训练

12.2.6 保存模型

12.2.7 模型评估

12.3 LLaMA2模型部署与微调

12.3.1 模型使用申请

12.3.2 环境准备

12.3.3 载入模型

12.3.4 数据准备

12.3.5 模型训练

12.3.6 保存模型

12.3.7 模型评估

12.4 小结

12.5 课后习题

参考文献