大规模图神经网络:并行和分布式技术电子书

PREFACE 前言

CHAPTER1 第1章 引言

1.1 图神经网络

1.1.1 什么是图神经网络

1.1.2 图神经网络的发展历史

1.1.3 图神经网络的现状

1.2 大规模图神经网络

1.2.1 大规模图神经网络的缘由

1.2.2 大规模图神经网络与分布式训练

1.2.3 分布式图神经网络的困难与挑战

1.3 本书组织

参考文献

CHAPTER2 第2章 图神经网络模型

2.1 图的表示

2.2 图神经网络的表示

2.3 典型的图神经网络模型

2.3.1 门控图序列神经网络

2.3.2 图卷积神经网络

2.3.3 图注意力网络

2.3.4 生成式图神经网络模型

2.4 图神经网络的应用

2.4.1 社交网络

2.4.2 生物与医疗

2.4.3 金融与风控

2.4.4 物理领域

2.4.5 交通领域

2.4.6 推荐系统

2.5 小结

参考文献

CHAPTER3 第3章 分布式并行机器学习

3.1 机器学习的基础知识

3.1.1 基本概念

3.1.2 模型训练

3.1.3 反向传播算法

3.1.4 梯度下降算法

3.2 分布式并行机器学习的流程

3.3 分布式并行机器学习的训练模式

3.3.1 数据并行

3.3.2 模型并行

3.3.3 流水并行

3.3.4 张量并行

3.3.5 混合专家并行

3.3.6 完全分片的数据并行

3.4 分布式并行机器学习的训练架构

3.4.1 分布式训练架构

3.4.2 模型更新策略

3.5 分布式并行机器学习的物理架构

3.5.1 单机多卡分布式并行训练环境

3.5.2 多机集群分布式并行训练环境

3.6 小结

参考文献

CHAPTER4 第4章 分布式并行图神经网络训练

4.1 图神经网络训练的基本流程

4.1.1 全图训练

4.1.2 小批次训练

4.2 图神经网络与深度神经网络的比较

4.3 分布式并行图神经网络训练

4.3.1 小批次分布式并行图神经网络训练

4.3.2 全图分布式并行图神经网络训练

4.4 小结

参考文献

CHAPTER5 第5章 小批次分布式并行图神经网络训练与优化

5.1 朴素的小批次分布式并行训练

5.1.1 训练流程

5.1.2 问题与不足

5.2 执行引擎优化

5.2.1 小批次间的算子并行训练

5.2.2 推拉混合的并行训练

5.2.3 基于历史嵌入的并行训练

5.2.4 基于计算分解的数据并行训练

5.3 图采样及其优化

5.3.1 基本的图采样方法

5.3.2 分布式图采样方法

5.4 数据缓存优化技术

5.5 通信机制及优化

5.5.1 集合通信

5.5.2 集合通信的死锁问题

5.5.3 通信链路优化

5.6 小结

参考文献

CHAPTER6 第6章 全图分布式并行图神经网络训练与优化

6.1 全图分布式图神经网络训练基本并行方法

6.1.1 子图并行的全图分布式训练

6.1.2 算子并行的全图分布式训练

6.1.3 子图并行与算子并行对比

6.1.4 全图分布式并行图神经网络训练的效率瓶颈

6.2 基于同步模型计算的效率优化

6.2.1 图划分策略

6.2.2 预聚合执行模式

6.2.3 高效的同步通信协议

6.3 基于异步模型计算的通信优化

6.3.1 异步执行模型

6.3.2 异步图神经网络训练通信协议

6.4 小结

参考文献

CHAPTER7 第7章 大规模图神经网络系统

7.1 图神经网络编程模型

7.1.1 以张量为中心的编程模型

7.1.2 以全图为中心的编程模型

7.1.3 以节点为中心的编程模型

7.2 图神经网络系统与图计算

7.3 面向单机多GPU的图神经网络系统

7.4 面向GPU集群的图神经网络系统

7.5 面向CPU集群的图神经网络系统

7.6 面向其他硬件平台的图神经网络系统

7.7 图神经网络系统的对比与选择

7.7.1 硬件设备

7.7.2 模型训练方法

7.7.3 模型更新策略

7.8 小结

参考文献

CHAPTER8 第8章 大规模图神经网络编程实践

8.1 基于DGL的训练环境配置

8.2 单机单卡训练

8.2.1 基本训练流程

8.2.2 简单的图神经网络训练案例

8.2.3 基于小批次的图神经网络训练案例

8.3 分布式并行训练

8.3.1 数据集的预处理

8.3.2 分布式数据通信接口

8.3.3 单机多GPU的训练

8.3.4 基于集群的训练

8.4 小结

参考文献

CHAPTER9 第9章 总结与展望

参考文献

推荐阅读