了解如何实现大模型显存和性能优化
售 价：¥
纸质售价：¥85.40购买纸书
6.8
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
作者简介
内容简介
前言
01 欢迎来到这场大模型竞赛
1.1 模型规模带来的挑战
1.2 数据规模带来的挑战
1.3 模型规模与数据增长的应对方法
02 深度学习必备的硬件知识
2.1 CPU与内存
2.2 硬盘
2.3 GPU
2.4 分布式系统
03 深知度识学习必备的PyTorch
3.1 PyTorch的张量数据结构
3.2 PyTorch中的算子
3.3 PyTorch的动态图机制
3.4 PyTorch的自动微分系统
3.5 PyTorch的异步执行机制
04 定位性能瓶颈的工具和方法
4.1 配置性能分析所需的软硬件环境
4.2 精确测量程序运行时间
4.3 PyTorch性能分析器
4.4 GPU专业分析工具
4.5 CPU性能分析工具
4.6 本章小结
05 数据加载和预处理专题
5.1 数据接入的准备阶段
5.2 数据集的获取和预处理
5.3 数据集的加载和使用
5.4 数据加载性能分析
5.5 本章小结
06 单卡性能优化专题
6.1 提高数据任务的并行度
6.2 提高GPU计算任务的效率
6.3 减少CPU和GPU间的同步
6.4 降低程序中的额外开销
6.5 有代价的性能优化
6.6 本章小结
07 单卡显存优化专题
7.1 PyTorch的显存管理机制
7.2 显存的分析方法
7.3 训练过程中的显存占用
7.4 通用显存复用方法
7.5 有代价的显存优化技巧
7.6 优化Python代码以减少显存占用
7.7 本章小结
08 分布式训练专题
8.1 分布式策略概述
8.2 集合通信原语
8.3 应对数据增长的并行策略
8.4 应对模型增长的并行策略
8.5 本章小结
09 高级优化方法专题
9.1 自动混合精度训练
9.2 自定义高性能算子
9.3 基于计算图的性能优化
9.4 本章小结
10 GPT-2优化全流程
10.1 GPT模型结构简介
10.2 实验环境与机器配置
10.3 显存优化
10.4 性能优化
结语
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
