MindSpore高阶技术及应用实践电子书

内容提要

丛书序

前言

第1章 数据处理

1.1 转换数据集为MindRecord

1.1.1 MindRecord原理

1.1.2 MindRecord使用示例

1.2 自动数据增强

1.2.1 自动数据增强原理

1.2.2 自动数据增强使用示例

1.3 轻量化数据处理模式

1.3.1 Eager模式原理

1.3.2 Eager模式使用示例

1.4 单节点缓存加速

1.4.1 单节点缓存原理

1.4.2 单节点缓存使用示例

1.4.3 缓存优化使用示例

1.5 数据处理性能优化

第2章 网络构建

2.1 基本概念与网络模型训练流程

2.1.1 张量

2.1.2 数据集

2.1.3 数据变换

2.1.4 神经网络模型构建

2.1.5 函数式自动微分

2.1.6 网络模型训练流程

2.1.7 保存与加载

2.2 自定义算子

2.2.1 自定义算子概述

2.2.2 自定义算子开发

2.2.3 自定义算子注册

2.2.4 aot类型自定义算子进阶用法——特性

2.2.5 aot类型自定义算子进阶用法——接口

2.2.6 aot类型自定义算子进阶用法——用例

2.3 高阶自动微分

2.3.1 微分求解方法概述

2.3.2 原理及实现

2.3.3 相关案例

第3章 分布式并行

3.1 数据并行

3.2 半自动并行

3.2.1 算子级并行

3.2.2 优化器并行

3.2.3 流水线并行

3.3 自动并行

3.3.1 切分策略传播算法

3.3.2 双递归策略搜索算法

3.4 手动并行

3.5 参数服务器

3.5.1 相关接口

3.5.2 相关环境变量配置

3.5.3 基本原理及操作实践

3.6 鹏程·盘古模型网络多维度自动混合并行案例

3.6.1 Embedding层

3.6.2 Decoder层

3.6.3 Residual层

3.6.4 Linear层

第4章 性能及算法优化

4.1 下沉模式

4.1.1 数据下沉

4.1.2 图下沉

4.1.3 循环下沉

4.1.4 数据下沉使用方法

4.2 图算融合

4.2.1 图算融合使用方法

4.2.2 自定义组合算子

4.3 算子增量编译

4.3.1 算子增量编译使用方法

4.3.2 常见问题

4.4 内存复用

4.5 梯度累加

4.5.1 梯度累加原理

4.5.2 梯度累加实现

4.6 二阶优化

4.6.1 优化器

4.6.2 THOR

4.6.3 在ResNet 50网络上应用二阶优化

第5章 模型部署

5.1 概述

5.2 模型转换及优化

5.2.1 模型转换

5.2.2 算子融合

5.2.3 算子替换

5.2.4 算子重排

5.3 模型压缩

5.3.1 模型量化

5.3.2 模型稀疏

5.3.3 知识蒸馏

5.3.4 基于MindSpore的QAT

5.4 模型推理

5.4.1 前处理与后处理

5.4.2 并行计算

5.4.3 算子优化

5.5 分布式推理服务

5.5.1 数据处理流水线并行

5.5.2 模型版本管理

5.6 基于MindSpore的模型部署与压缩

5.6.1 安装MindSpore Golden Stick

5.6.2 MindSpore模型部署

5.6.3 MindSpore模型转换

第6章 模型安全与隐私

6.1 安全可信设计

6.1.1 MindSpore Armour总体架构

6.1.2 模型鲁棒性

6.1.3 模型资产安全

6.1.4 隐私保护

6.2 模型鲁棒性

6.2.1 对抗攻防

6.2.2 AI Fuzzer

6.3 模型资产安全

6.3.1 模型加密保护

6.3.2 模型动态混淆

6.4 隐私保护

6.4.1 差分隐私训练

6.4.2 抑制隐私训练

6.4.3 隐私泄露风险评估

第7章 模型可靠性

7.1 模型鲁棒性度量及提升

7.1.1 技术现状

7.1.2 推荐方案

7.1.3 应用结果

7.1.4 技术发展

7.2 概念漂移检测

7.2.1 概念漂移背景

7.2.2 业界现状

7.2.3 常用检测算法

7.3 基于故障注入的测试

7.3.1 故障模式库

7.3.2 故障注入测试

第8章 AI求解科学计算方程

8.1 业界经典微分方程

8.1.1 背景介绍

8.1.2 PINN

8.1.3 傅里叶神经算子

8.2 SIMnet

8.2.1 背景介绍

8.2.2 框架介绍

8.2.3 相关案例

8.3 SciML

8.3.1 框架介绍

8.3.2 典型案例

第9章 AI加速科学方法

9.1 海洋模式

9.2 基于OpenArray的ROMS

9.2.1 OpenArray算子库

9.2.2 GOMO

9.3 MindSpore加速GOMO求解

9.3.1 算子抽象

9.3.2 图算融合

9.3.3 halo区并行

参考文献