云边端协同计算:基于强化学习电子书

PREFACE 前言

CHAPTER 1 第1章 云边端协同计算基础

1.1 云边端协同计算概述

1.2 云边端协同计算的挑战

1.3 云边端协同计算技术

1.3.1 边端协同计算卸载

1.3.2 云边协同计算卸载

1.3.3 云边端协同缓存

1.3.4 联合服务缓存和计算卸载

1.4 云边端协同计算的应用

1.4.1 基于多智能体强化学习的边端协同计算卸载

1.4.2 基于分布式强化学习的云边协同计算卸载

1.4.3 基于联邦深度强化学习的云边端协同缓存

1.4.4 基于分层强化学习的联合服务缓存和计算卸载

1.4.5 各个应用之间的关系

1.5 本章小结

CHAPTER 2 第2章 深度强化学习基础

2.1 机器学习和深度学习

2.1.1 PyTorch

2.1.2 监督学习、偏差和过拟合的概念

2.1.3 无监督学习

2.1.4 深度学习方法

2.2 强化学习

2.2.1 强化学习框架

2.2.2 强化学习的实验环境Gym

2.2.3 从数据中学习策略的不同设置

2.3 基于价值的深度强化学习方法

2.3.1 Q学习

2.3.2 适应性Q学习

2.3.3 深度Q网络

2.3.4 双重深度Q网络

2.3.5 决斗网络架构

2.3.6 分布式深度Q网络

2.3.7 多步学习

2.3.8 DQN与其他变体的组合

2.4 基于策略梯度的深度强化学习方法

2.4.1 随机策略梯度

2.4.2 确定性策略梯度

2.4.3 自然策略梯度

2.4.4 信任域优化

2.4.5 策略梯度和Q学习的结合

2.5 基于模型的深度强化学习方法

2.5.1 纯基于模型的方法

2.5.2 集成无模型和基于模型的方法

2.6 多智能体强化学习

2.6.1 多智能体强化学习概述

2.6.2 多智能体强化学习的符号表示和构建

2.6.3 多智能体强化学习分类

2.6.4 主要挑战和未来发展趋势

2.7 本章小结

CHAPTER 3 第3章 基于多智能体强化学习的边端协同计算卸载

3.1 引言

3.2 边端协同智能计算架构

3.2.1 边端协同计算拓扑结构

3.2.2 计算卸载问题

3.3 基于多智能体强化学习的计算卸载方案

3.3.1 LSTM赋能的决斗DQN算法

3.3.2 神经网络结构

3.3.3 算法训练过程

3.3.4 代码

3.3.5 计算复杂度分析

3.4 性能评估

3.4.1 参数设置和基准方案

3.4.2 算法收敛性能

3.4.3 五种卸载方案的可扩展性

3.5 本章小结

CHAPTER 4 第4章 基于分布式强化学习的云边协同计算卸载

4.1 引言

4.2 系统建模和优化问题

4.2.1 MEC架构

4.2.2 服务延迟模型

4.2.3 云边协同计算卸载模型

4.2.4 优化问题建模

4.3 智能计算卸载方案

4.3.1 SAC

4.3.2 CSACO算法实现

4.3.3 DSACO算法实现

4.3.4 代码

4.3.5 计算和通信复杂性分析

4.4 性能评估

4.4.1 参数设置

4.4.2 五种卸载方案的收敛性

4.4.3 五种卸载方案的可扩展性和效率

4.5 本章小结

CHAPTER 5 第5章 基于联邦深度强化学习的云边端协同缓存

5.1 引言

5.2 系统模型和优化问题

5.2.1 推荐赋能的边缘缓存架构

5.2.2 内容推荐模型

5.2.3 系统成本模型

5.2.4 缓存替换模型

5.2.5 优化问题

5.3 去中心化的推荐赋能的边缘缓存方案

5.3.1 问题分析与分解

5.3.2 本地请求处理

5.3.3 缓存替换处理

5.3.4 代码

5.3.5 计算复杂度

5.4 性能评估

5.4.1 参数设置和基准方案

5.4.2 收敛性能

5.4.3 不同边缘服务器数量的影响

5.4.4 边缘服务器不同缓存大小的影响

5.4.5 不同数量终端设备的影响

5.4.6 软命中的影响

5.5 本章小结

CHAPTER 6 第6章 基于分层强化学习的联合服务缓存和计算卸载

6.1 引言

6.2 系统模型和优化问题

6.2.1 服务缓存模型

6.2.2 计算卸载模型

6.2.3 通信和计算模型

6.2.4 优化问题

6.3 问题分析与分解

6.3.1 案例一：边缘节点不合作

6.3.2 案例二：一个时间片刻内优化

6.3.3 问题分解

6.4 联合服务缓存和计算卸载方案

6.4.1 为什么要分层强化学习

6.4.2 第一阶段：服务缓存处理的边缘智能体

6.4.3 第二阶段：计算卸载处理的中心智能体

6.4.4 JSC2O的分层强化学习

6.4.5 算法复杂度分析

6.4.6 代码

6.5 性能评估

6.5.1 参数设置和基准方案

6.5.2 收敛性能

6.5.3 不同边缘节点数量的影响

6.5.4 不同服务数量的影响

6.6 本章小结

缩略词列表

参考文献

人工智能技术丛书