AI芯片应用开发实践:深度学习算法与芯片设计电子书

前言

第1章 认识AI芯片

1.1 AI芯片概述

1.2 AI芯片分类

1.2.1 传统中央微处理器——MPU

1.2.2 通用芯片——GPU

1.2.3 半定制化芯片——FPGA

1.3 AI芯片开发的通用流程

1.3.1 选择AI芯片开发平台

1.3.2 数据预处理

1.3.3 模型训练与模型的轻量化

1.3.4 框架选择与模型推理

1.3.5 芯片环境配置与模型部署

1.4 AI芯片常用功能加速模块

1.4.1 功能加速模块概述

1.4.2 视觉处理加速器——VPAC

1.4.3 深度和运动感知加速器——DMPAC

1.4.4 深度学习加速器——DLA

1.4.5 视觉加速器——PVA

1.5 本章小结

1.6 本章习题

第2章 AI芯片开发平台

2.1 AI芯片硬件平台的分类

2.1.1 同构AI芯片硬件平台

2.1.2 异构AI芯片硬件平台

2.2 AI芯片开发平台的常用外设

2.2.1 网络设备

2.2.2 显示模块和摄像头模块

2.2.3 模数转换器模块ADC

2.2.4 通用输入/输出模块GPIO

2.2.5 IIC控制器

2.3 本章小结

2.4 本章习题

第3章 数据预处理

3.1 深度学习数据预处理概述

3.2 常用的数据预处理方法

3.2.1 零均值化（中心化）

3.2.2 归一化（标准化）

3.2.3 主成分分析（PCA）

3.2.4 白化（Whitening）

3.3 视频数据预处理——基于GStreamer

3.3.1 GStreamer概述

3.3.2 GStreamer工具

3.3.3 GStreamer的使用方法

3.3.4 编写GStreamer的插件

3.4 本章小结

3.5 本章习题

第4章 AI芯片应用开发框架

4.1 AI芯片应用开发框架概述

4.2 常用的AI芯片应用开发框架

4.2.1 基于NVIDIA的开发框架TensorRT

4.2.2 Google Research的开发框架MediaPipe

4.2.3 英特尔的开发框架OpenVINO

4.2.4 针对手机端的开发框架NCNN

4.3 开发框架应用示例：车牌识别

4.3.1 数据集

4.3.2 车牌区域检测

4.3.3 车牌识别算法

4.3.4 模型训练

4.3.5 模型部署

4.4 本章小结

4.5 本章习题

第5章 AI芯片常用模型的训练与轻量化

5.1 常用的网络模型

5.1.1 深度神经网络（DNN）

5.1.2 卷积神经网络（CNN）

5.1.3 残差网络（ResNet）

5.1.4 生成对抗网络（GAN）

5.1.5 循环神经网络（RNN）

5.1.6 长短记忆网络（LSTM）

5.1.7 Transformer

5.1.8 大语言模型GPT

5.2 常用的模型学习类型

5.2.1 监督学习

5.2.2 半监督学习

5.2.3 无监督学习

5.2.4 强化学习

5.3 模型的轻量化方法

5.3.1 模型轻量化的概念与作用

5.3.2 基于结构优化的轻量化方法

5.3.3 基于参数量化的轻量化方法

5.3.4 基于网络剪枝的轻量化方法

5.3.5 基于知识蒸馏技术的轻量化方法

5.4 轻量化模型设计实例：YOLO-Fire目标检测算法

5.4.1 YOLO-Fire检测算法设计

5.4.2 网络整体结构

5.4.3 基于相关性的损失函数

5.4.4 模型训练

5.4.5 实验过程与结果

5.5 本章小结

5.6 本章习题

第6章 模型的推理框架——ONNX Runtime

6.1 ONNX Runtime概述

6.2 ONNX Runtime推理流程

6.2.1 安装环境

6.2.2 训练模型

6.2.3 将模型转换导出为ONNX格式

6.2.4 使用ONNX Runtime加载运行模型

6.3 ONNX格式转换工具

6.3.1 MXNet转换成ONNX

6.3.2 TensorFlow转换成ONNX

6.3.3 PyTorch转换成ONNX

6.4 ONNX Runtime示例：逻辑回归算法（基于scikit-learn的实现）

6.4.1 ONNX Runtime模型运行过程

6.4.2 训练模型

6.4.3 将模型转换导出为ONNX格式

6.4.4 使用ONNX Runtime加载运行模型

6.4.5 ONNX Runtime中实现逻辑回归算法实例

6.5 本章小结

6.6 本章习题

第7章 FPGA类AI芯片的开发实践

7.1 开发工具Vitis AI概述

7.2 Vitis AI的常用参数化IP核

7.2.1 DPUCZDX8G概述

7.2.2 高性能通用CNN处理引擎DPUCVDX8G

7.2.3 高吞吐量通用CNN处理引擎DPUCVDX8H

7.2.4 包含最优化的深度学习模型的Vitis AI Model Zoo

7.3 Vitis AI开发工具包

7.3.1 Vitis AI量化器

7.3.2 Vitis AI优化器

7.3.3 Vitis AI编译器

7.3.4 Vitis AI Profiler（分析器）

7.3.5 Vitis AI库

7.4 Vitis AI应用开发示例：应用Zynq监测道路裂缝

7.5 本章小结

7.6 本章习题

第8章 同构智能芯片平台应用开发实践

8.1 Jetson Nano开发者套件简介

8.2 使用前的准备

8.2.1 安装风扇

8.2.2 安装无线网卡

8.2.3 安装摄像头

8.2.4 配置系统

8.3 开发实践：行人识别

8.3.1 模型训练

8.3.2 实验环境

8.3.3 行人检测功能测试

8.4 本章小结

8.5 本章习题

第9章 异构智能芯片平台应用开发实践

9.1 多核芯片的核间通信机制

9.1.1 IPC概述

9.1.2 IPC在多核中的实现原理

9.1.3 核间通信协议

9.1.4 多核间的接口定义以及示例代码

9.2 TDA4VM-SK平台简介

9.3 SDK开发软件简介

9.3.1 PSDK Linux软件包简介

9.3.2 PSDK RTOS软件包简介

9.4 使用前的准备

9.4.1 TDA4VM-SK板SD卡烧录

9.4.2 TDA4VM-SK板网络调试方法

9.4.3 NFS多核调试例程

9.5 本章小结

9.6 本章习题