还在被大模型训练慢、显存不足、分布式部署难卡脖子？《深度学习扩展之道：软硬件与数据协同构建可扩展大模型系统》来了！全书通软件、硬件、数据三大核心，详解 GPU/TPU 加速、数据 / 模型 / 流水线并行、性能优化等硬核技术，从基础原理到工业级实战，手把手教你搭建高效可扩展的大模型训练系统。不管是算法工程师、MLOps 运维，还是深度学习研究者，都能轻松攻克训练瓶颈，快速落地规模化深度学习项目，AI 人必的硬核实战宝典！
售 价：¥
纸质售价：¥122.60购买纸书
6.8
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
O'Reilly Media, Inc．介绍
译者序
前言
第1章 自然和历史在规模方面给予我们的启示
1.1 扩展的哲学
1.1.1 通用扩展定律
1.1.2 通用扩展定律的历史
1.2 可扩展系统
1.2.1 作为可扩展系统的自然界
1.2.2 人类视觉系统的生物学启示
1.3 人工智能：可学习系统的演进
1.3.1 四者协作
1.3.2 深度学习的发展趋势
1.4 深度学习中的扩展
1.4.1 六大开发考虑因素
1.4.2 扩展考量
1.5 本章小结
第一部分 深度学习基础
第2章 深度学习
2.1 深度学习中数据的作用
2.2 深度学习中的数据流
2.3 动手练习#1：实现极简深度学习
2.4 动手练习#2：PyTorch进阶
2.5 计算图
2.6 推理
2.7 本章小结
第3章 深度学习的计算层面
3.1 数字世界的希格斯玻色子
3.2 计算机架构
3.3 电子领域中的扩展定律
3.4 利用并行化扩展计算
3.5 加速计算
3.6 本章小结
第4章 整合全局：高效深度学习
4.1 动手练习#1：GPT-2
4.2 动手练习#2：卷积视觉模型
4.3 使用PyTorch 2.0进行图编译
4.4 在单个设备上扩展训练的建模技术
4.5 本章小结
第二部分 分布式训练
第5章 分布式系统与通信
5.1 分布式系统
5.2 分布式系统中的通信
5.3 扩展计算能力
5.4 深度学习基础设施综述
5.5 本章小结
第6章 分布式深度学习的理论基础
6.1 分布式深度学习
6.2 用于扩展分布式深度学习的维度
6.3 扩展性能度量
6.4 本章小结
第7章 数据并行
7.1 数据分区
7.2 数据并行技术介绍
7.3 中心化同步数据并行策略
7.4 构建高效流水线
7.5 本章小结
第8章 超越数据并行的扩展：模型并行、流水线并行、张量并行与混合并行
8.1 纵向扩展前需要问的问题
8.2 纵向扩展的理论基础
8.3 超越数据并行扩展的基本构建块
8.4 本章小结
第9章 多维扩展实践
9.1 动手练习：模型并行、张量并行、流水线并行和混合并行
9.2 用于纵向扩展的工具与函数库
9.3 本章小结
第三部分 极限扩展
第10章 以数据为中心的扩展
10.1 深度学习视角下数据的七个V特征
10.2 数据扩展定律
10.3 数据质量
10.4 数据引擎与持续学习
10.5 本章小结
第11章 扩展实验：高效的实验规划与管理
11.1 模型开发是一个迭代过程
11.2 实验规划与执行
11.3 扩展实验的技巧
11.4 动手练习
11.5 本章小结
第12章 大模型的高效微调
12.1 微调技术综述
12.2 用于参数高效微调的LoRA
12.3 量化LoRA
12.4 动手练习：基于QLoRA的微调
12.5 本章小结
第13章 基础模型
13.1 什么是基础模型
13.2 基础模型的演进历程
13.3 开发基础模型所面临的挑战
13.4 多模态大语言模型
13.5 本章小结
关于作者
关于封面
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
