（1）萃取强化学习热门公课精华的课程伴侣！ 对李宏毅“深度强化学习”、周博磊“强化学习纲要”和李科浇“世界冠军带你从零实践强化学习”3门累积播放过百万的公课行内容精选和公式推导，对较难理解的知识行重讲解和补充强化，方便读者边看视频边查阅学习。 （2）GitHub下载量过万的源教程，迭代升级的门指南！ 本“蘑菇书”系中科院王琦、清华杨毅远、北大江季3位Datawhale成员继“南瓜书”《机器学习公式详解》后第2本自学笔记，源教程发布于GitHub不到10个月，已有1.1万下载量及3.3k Star数。本“蘑菇书”吸收读者对于源教程上百次的反馈，利用简单生动的例子解释强化学习概念，对重难公式详细推导、分析，设置原创关键词、习题和面试题，配有Python实现代码，方便读者轻松门。
售 价：¥
纸质售价：¥49.90购买纸书
6.2
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
版 权
内容提要
推荐辞
前 言
主要符号表
资源与支持
第1章 绪论
1.1 强化学习概述
1.1.1 强化学习与监督学习
1.1.2 强化学习的例子
1.1.3 强化学习的历史
1.1.4 强化学习的应用
1.2 序列决策概述
1.2.1 智能体和环境
1.2.2 奖励
1.2.3 序列决策
1.3 动作空间
1.4 强化学习智能体的组成部分和类型
1.4.1 策略
1.4.2 价值函数
1.4.3 模型
1.4.4 强化学习智能体的类型
1. 基于价值的智能体与基于策略的智能体
2. 有模型强化学习智能体与免模型强化学习智能体
1.5 学习与规划
1.6 探索和利用
1.7 强化学习实验
1.7.1 Gym
1.7.2 MountainCar-v0 例子
1.8 关键词
1.9 习题
1.10 面试题
参考文献
第2章 马尔可夫决策过程
2.1 马尔可夫过程
2.1.1 马尔可夫性质
2.1.2 马尔可夫过程/马尔可夫链
2.1.3 马尔可夫过程的例子
2.2 马尔可夫奖励过程
2.2.1 回报与价值函数
2.2.2 贝尔曼方程
1. 全期望公式
2. 贝尔曼方程推导
2.2.3 计算马尔可夫奖励过程价值的迭代算法
2.2.4 马尔可夫奖励过程的例子
2.3 马尔可夫决策过程
2.3.1 马尔可夫决策过程中的策略
2.3.2 马尔可夫决策过程和马尔可夫过程/马尔可夫奖励过程的区别
2.3.3 马尔可夫决策过程中的价值函数
2.3.4 贝尔曼期望方程
2.3.5 备份图
2.3.6 策略评估
2.3.7 预测与控制
2.3.8 动态规划
2.3.9 使用动态规划进行策略评估
2.3.10 马尔可夫决策过程控制
2.3.11 策略迭代
贝尔曼最优方程
2.3.12 价值迭代
1. 最优性原理
2. 确认性价值迭代
3. 价值迭代算法
2.3.13 策略迭代与价值迭代的区别
2.3.14 马尔可夫决策过程中的预测和控制总结
2.4 关键词
2.5 习题
2.6 面试题
参考文献
第3章 表格型方法
3.1 马尔可夫决策过程
3.1.1 有模型
3.1.2 免模型
3.1.3 有模型与免模型的区别
3.2 Q表格
3.3 免模型预测
3.3.1 蒙特卡洛方法
3.3.2 时序差分方法
3.3.3 动态规划方法、蒙特卡洛方法以及时序差分方法的自举和采样
3.4 免模型控制
3.4.1 Sarsa：同策略时序差分控制
3.4.2 Q学习：异策略时序差分控制
3.4.3 同策略与异策略的区别
3.5 使用 Q学习解决悬崖寻路问题
3.5.1 CliffWalking-v0 环境简介
3.5.2 强化学习基本接口
3.5.3 Q学习算法
3.5.4 结果分析
3.6 关键词
3.7 习题
3.8 面试题
参考文献
第4章 策略梯度
4.1 策略梯度算法
4.2 策略梯度实现技巧
4.2.1 技巧 1：添加基线
4.2.2 技巧 2：分配合适的分数
4.3 REINFORCE：蒙特卡洛策略梯度
4.4 关键词
4.5 习题
4.6 面试题
参考文献
第5章 近端策略优化
5.1 从同策略到异策略
5.2 近端策略优化
5.2.1 近端策略优化惩罚
5.2.2 近端策略优化裁剪
5.3 关键词
5.4 习题
5.5 面试题
参考文献
第6章 深度Q网络
6.1 状态价值函数
6.2 动作价值函数
6.3 目标网络
6.4 探索
6.5 经验回放
6.6 深度Q网络算法总结
6.7 关键词
6.8 习题
6.9 面试题
参考文献
第7章 深度Q网络进阶技巧
7.1 双深度Q网络
7.2 竞争深度Q网络
7.3 优先级经验回放
7.4 在蒙特卡洛方法和时序差分方法中取得平衡
7.5 噪声网络
7.6 分布式Q函数
7.7 彩虹
7.8 使用深度 Q 网络解决推车杆问题
7.8.1 CartPole-v0 简介
7.8.2 深度Q网络基本接口
7.8.3 回放缓冲区
7.8.4 Q 网络
7.8.5 深度Q网络算法
7.8.6 结果分析
7.9 关键词
7.10 习题
7.11 面试题
参考文献
第8章 针对连续动作的深度Q网络
8.1 方案 1：对动作进行采样
8.2 方案 2：梯度上升
8.3 方案 3：设计网络架构
8.4 方案 4：不使用深度Q网络
8.5 习题
第9章 演员-评论员算法
9.1 策略梯度回顾
9.2 深度Q网络回顾
9.3 演员-评论员算法
9.4 优势演员-评论员算法
9.5 异步优势演员-评论员算法
9.6 路径衍生策略梯度
9.7 与生成对抗网络的联系
9.8 关键词
9.9 习题
9.10 面试题
第10章 深度确定性策略梯度
10.1 离散动作与连续动作的区别
10.2 深度确定性策略梯度
10.3 双延迟深度确定性策略梯度
10.4 使用深度确定性策略梯度解决倒立摆问题
10.4.1 Pendulum-v1 简介
10.4.2 深度确定性策略梯度基本接口
10.4.3 Ornstein-Uhlenbeck 噪声
10.4.4 深度确定性策略梯度算法
10.4.5 结果分析
10.5 关键词
10.6 习题
10.7 面试题
参考文献
第11章 稀疏奖励
11.1 设计奖励
11.2 好奇心
11.3 课程学习
11.4 分层强化学习
11.5 关键词
11.6 习题
参考文献
第12章 模仿学习
12.1 行为克隆
12.2 逆强化学习
12.3 第三人称视角模仿学习
12.4 句子生成和聊天机器人
12.5 关键词
12.6 习题
参考文献
第13章 AlphaStar论文解读
13.1 AlphaStar以及背景简介
13.2 AlphaStar的模型输入和输出是什么呢？——环境设计
13.2.1 状态（网络的输入）
13.2.2 动作（网络的输出）
13.3 AlphaStar的计算模型是什么呢？——网络结构
13.3.1 输入部分
13.3.2 中间过程
13.3.3 输出部分
13.4 庞大的AlphaStar如何训练呢？——学习算法
13.4.1 监督学习
13.4.2 强化学习
13.4.3 模仿学习
13.4.4 多智能体学习/自学习
13.5 AlphaStar实验结果如何呢？——实验结果
13.5.1 宏观结果
13.5.2 其他实验（消融实验）
13.6 关于AlphaStar的总结
参考文献
附录A 习题解答
附录B 面试题解答
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
