城市交通信号控制建模与优化:基于智能计算和深度强化学习电子书

书名页

内容提要

版权页

作者简介

前言

第1章 绪论

1.1 交通信号控制技术研究背景

1.2 交通信号控制技术分类及国内外研究现状

1.2.1 基于经典方法的交通信号控制技术

（1）交通信号的定时协同控制

（2）交通信号的自适应控制

1.2.2 基于深度强化学习的交通信号控制技术

（1）基于单智能体深度强化学习的交通信号控制

（2）基于多智能体深度强化学习的交通信号控制

1.2.3 基于车联网的交通信号控制技术

（1）基于V2V和V2I的交通信号控制

（2）基于CAV的交通信号控制

1.2.4 交通信号控制技术的研究现状

1.3 本书主要思路及内容

1.3.1 主要思路

1.3.2 主要内容

第2章 基础知识

2.1 进化计算方法概述

（1）进化计算方法的一般框架

（2）进化计算方法的分类

（3）进化计算方法的特点

2.2 强化学习概述

（1）强化学习的基本要素

（2）马尔可夫决策过程

（3）最优策略

（4）动态规划

（5）强化学习算法

2.3 单智能体深度强化学习

（1）深度Q网络

（2）深度确定性策略梯度

2.4 多智能体深度强化学习

2.4.1 随机博弈

2.4.2 纳什Q学习

2.4.3 多智能体深度确定性策略梯度算法

2.5 平均场多智能体强化学习

2.5.1 平均场近似理论

2.5.2 平均场多智能体强化学习算法

2.6 本章小结

第3章 基于车流动力学的交通信号控制问题建模及优化算法

3.1 引言

3.2 交通场景下的基本参数和评价指标

3.2.1 基本参数

（1）信号周期

（2）信号周期长度

（3）绿灯时间

（4）绿信比

（5）信号相位

（6）相位差

（7）绿波带宽

（8）交叉口车容量

（9）清除时间

（10）车流量

（11）车流率

（12）损失时间

3.2.2 评价指标

（1）延迟时间

（2）停车次数

（3）队列长度

3.3 多交叉口交通信号控制问题描述

3.4 多交叉口交通信号控制问题建模

3.4.1 相位差延迟模型

3.4.2 绿信比延迟模型

3.4.3 改进的公共周期模型

3.4.4 信号协同优化模型

3.4.5 交叉口分级策略

3.5 基于免疫的烟花算法

3.5.1 烟花算法和免疫机制的基本思想

3.5.2 基于免疫的烟花算法设计

（1）编码

（2）亲和力计算

（3）抗体浓度和激励度算子

（4）抗体克隆扩增和克隆变异算子

（5）种群更新

3.6 仿真与分析

3.6.1 仿真环境及实验参数设置

3.6.2 交通环境下的仿真与分析

3.6.3 标准函数下的仿真与分析

3.7 本章小结

第4章 基于深度强化学习的单智能体交通信号控制

4.1 引言

4.2 基于马尔可夫决策过程的交通信号控制问题描述

4.2.1 状态空间

4.2.2 动作空间

4.2.3 奖励函数

（1）奖励函数1

（2）奖励函数2

（3）奖励函数3

4.2.4 累积延迟的近似

4.3 基于动态权重的soft actor-critic算法

4.3.1 动态权重

4.3.2 基于动态权重的soft actor-critic算法设计

4.4 仿真与分析

4.4.1 仿真平台设置

（1）初始化模块

（2）仿真环境模块

（3）智能体输入模块

4.4.2 算法参数设置

4.4.3 交通环境下的仿真与分析

（1）不同奖励函数对算法学习率、鲁棒性以及平均奖励的影响

（2）不同的强化学习算法对交通性能指标的影响

（3）不同奖励函数对交通性能指标的影响

（4）基于累积延迟近似的奖励函数对交通性能指标的影响

（5）队列检测中的速度阈值对交通性能指标的影响

4.4.4 标准连续控制任务下的仿真与分析

4.5 本章小结

第5章 基于深度强化学习的多智能体交通信号控制

5.1 引言

5.2 基于马尔可夫博弈的交通信号控制问题描述

（1）状态空间

（2）动作空间定义

（3）奖励函数

5.3 合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法

5.3.1 强化学习中的Q值过估计问题

5.3.2 基于指数加权移动平均的动态延迟更新策略

5.3.3 合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法设计

5.4 仿真与分析

5.4.1 仿真平台设置

5.4.2 算法参数设置

5.4.3 仿真结果与分析

5.5 本章小结

第6章 总结与展望

6.1 总结

6.2 展望

附录

主要符号表

参考文献