（1）作者背景权威：作者是湖南国家应用数学中心副主任、湘潭大学的博导、科技部国家重子课题（大模型相关）的负责人，是资深的大模型技术专家和布道者。（2）作者经验丰富：作者在司法、工业设计等多个领域成功实现了源大模型向垂直领域的迁移，有丰富的实战经验。（3）涵盖全部技术栈：从迁移方式、低算力微调、推理优化到源基座模型的选择指标等，本书详细介绍了构建垂直领域大模型需要的全部技术栈。（4）涵盖构建全流程：从垂直大模型的迁移、微调到部署和性能优化，本书详细讲解了构建垂直领域大模型的全流程
售 价：¥
纸质售价：¥66.70购买纸书
6.4
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
前折页
书名页
前言
第1章 垂直领域大模型的行业变革与机遇
1.1 大模型下的行业变革
1.1.1 大模型的iPhone时刻
1.1.2 大模型的全行业重塑
1.1.3 劳动力市场的变革
1.2 垂直领域大模型迁移的动机
1.2.1 商业价值
1.2.2 行业技术护城河
1.2.3 领域数据优势
1.3 垂直领域大模型迁移的机遇
第2章 垂直领域迁移技术栈
2.1 垂直领域迁移的方式
2.1.1 提示工程
2.1.2 检索增强生成
2.1.3 参数高效微调
2.1.4 全参数微调
2.1.5 从头预训练
2.1.6 垂直领域迁移低算力技术选型
2.2 低算力微调
2.3 推理优化
2.3.1 模型编译
2.3.2 模型压缩
2.3.3 模型分区
第3章 大模型的开源生态
3.1 大模型的开源社区
3.1.1 Meta
3.1.2 Hugging Face
3.1.3 微软
3.1.4 英伟达
3.2 开源生态下基座模型选择的关键指标
3.2.1 参数规模
3.2.2 训练Token
3.2.3 上下文窗口
3.2.4 综合评测
3.2.5 商业许可
3.3 开源基座模型LLaMA系列
3.3.1 LLaMA 2
3.3.2 LLaMA 3
3.3.3 商用限制
第4章 自举领域数据的获取
4.1 指令自举标注
4.2 自举无监督标注
4.2.1 指令生成阶段
4.2.2 答案生成阶段
4.2.3 过滤和修剪阶段
4.3 自我策展
4.3.1 初始化阶段
4.3.2 自我增强阶段
4.3.3 自我策展阶段
4.4 自我奖励
4.4.1 种子数据
4.4.2 自我指令创建
4.4.3 指令遵循训练
4.4.4 迭代训练
第5章 数据处理
5.1 数据处理的挑战
5.2 数据质量
5.2.1 文本提取
5.2.2 数据去重
5.2.3 质量过滤
5.2.4 内容毒性过滤
5.3 高效数据集访问
5.3.1 数据集来源
5.3.2 列式内存格式
5.3.3 向量化计算
5.3.4 零复制数据交换
5.3.5 虚拟内存
第6章 大模型抽象
6.1 计算图
6.2 静态计算图
6.3 动态计算图
6.4 算子优化与调度
6.4.1 计算图与算子优化
6.4.2 计算图与算子调度
6.4.3 串行调度与并行调度
6.5 大模型中的张量与算子
6.5.1 输入层
6.5.2 自注意力层
6.5.3 前馈网络层
6.5.4 输出层
6.6 大模型的序列化
6.6.1 序列化文件的类型
6.6.2 TensorFlow模型序列化
6.6.3 PyTorch模型序列化
6.6.4 Safetensors序列化格式
第7章 LoRA低算力微调
7.1 LoRA的原理
7.2 LoRA的重参数化方法
7.3 秩的选择
7.4 LoRA的多任务处理策略
7.5 LoRA量化版本QLoRA
7.6 LoRA微调类型
7.6.1 继续预训练
7.6.2 RLHF
7.6.3 DPO
第8章 大模型的分布式训练
8.1 分布式训练的挑战
8.1.1 算力与内存瓶颈
8.1.2 分布式训练系统的设计挑战
8.2 分布式集群架构
8.2.1 GPU集群架构
8.2.2 集合通信算子
8.2.3 通信拓扑
8.3 分布式训练的通信架构
8.3.1 基于参数服务器的架构
8.3.2 基于归约的架构
8.4 并行模式
8.4.1 数据并行
8.4.2 张量并行
8.4.3 流水线并行
8.4.4 并行模式的对比
8.5 大模型的张量并行
8.5.1 输入层
8.5.2 输出层
8.5.3 多层感知机
8.5.4 自注意力
8.6 数据并行的内存优化
8.6.1 设备内存占用
8.6.2 ZeRO技术
8.6.3 ZeRO-Offload技术
第9章 推理优化技术
9.1 计算加速
9.1.1 算子融合
9.1.2 并行推理
9.2 内存优化
9.2.1 KV缓存
9.2.2 页注意力
9.2.3 快速注意力
9.3 吞吐量优化
9.3.1 内存I/O瓶颈
9.3.2 静态批处理
9.3.3 连续批处理
9.3.4 动态分割融合
9.4 量化
9.4.1 量化的动机
9.4.2 量化的原理
9.4.3 LLM.int8()
9.4.4 GPTQ
第10章 大模型的编译优化
10.1 深度学习编译与大模型编译
10.1.1 深度学习编译
10.1.2 多级渐进优化
10.1.3 硬件优化偏好
10.1.4 大模型的编译特点
10.2 深度学习框架与编译优化
10.2.1 深度学习框架
10.2.2 不同阶段的编译优化
10.3 训练阶段的编译优化
10.3.1 训练前优化
10.3.2 训练优化库
10.4 端侧部署的编译优化
10.4.1 深度学习框架的端侧部署工具
10.4.2 第三方编译工具
10.4.3 大模型的手动编译优化
10.5 服务器端部署的编译优化
第11章 大模型部署的非性能需求
11.1 内容安全
11.1.1 内容安全的分类
11.1.2 应对策略
11.2 水印
11.2.1 主要检测技术的对比
11.2.2 大模型水印框架
11.2.3 水印攻击技术
11.3 监控
11.3.1 监控流程
11.3.2 大模型基线
11.3.3 监控架构
11.4 评估
11.4.1 评估维度
11.4.2 评估数据集
11.4.3 评估方法
第12章 垂直领域大模型的服务器端部署
12.1 服务器端部署架构
12.1.1 服务器端部署的挑战
12.1.2 公有云与私有云
12.1.3 服务器端部署流程与优化
12.2 运行库优化
12.2.1 运行库优化与编译优化
12.2.2 TensorRT运行库架构
12.2.3 TensorRT运行库优化与推理
12.2.4 TensorRT-LLM
12.3 TGI生产环境解决方案
12.3.1 TGI的架构
12.3.2 TGI推理加速技术
12.3.3 TGI的其他特性
后折页
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
