《Python深度强化学习入门：强化学习和深度学习的搜索与控制》共7章。其中，第1章介绍了机器学习的分类、强化学习的学习机制以及深度强化学习的概念；第2章通过强化学习的基本概念、马尔科夫决策过程和贝尔曼方程、贝尔曼方程的求解方法、无模型控制等介绍了强化学习的基本算法；第3章通过深度学习、卷积神经网络（CNN）、循环神经网络（RNN）介绍了强化学习中深度学习的特征提取方法；第4章通过行动价值函数的网络表示、策略函数的网络表示介绍了深度强化学习的实现；第5章通过策略梯度法的连续控制、学习算法和策略模型等，详细介绍了深度强化学习在连续控制问题中的应用及具体实现；第6章通过巡回推销员问题和魔方问题详细介绍了深度强化学习在组合优化中的应用及具体实现；第7章通过SeqGAN的文本生成和神经网络的架构搜索详细介绍了深度强化学习在时间序列数据生成的应用。在附录中还给出了Colaboratory和Docker等深度强化学习开发环境的构建。

目 录
译者序
原书前言
阅读本书需要的知识基础
本书的结构
本书示例的运行环境

1.1 机器学习的分类004
1.1.1 监督学习005
1.1.2 无监督学习006
1.1.3 强化学习007
1.2 强化学习的学习机制008
1.3 深度强化学习011

2.1 强化学习的基本概念014
2.1.1 强化学习的问题设定014
2.1.2 强化学习的机制014
2.1.3 关于本章的内容016
2.2 马尔可夫决策过程和贝尔曼方程017
2.2.1 马尔可夫决策过程017
2.2.2 贝尔曼方程020
2.3 贝尔曼方程的求解方法024
2.3.1 动态规划法024
2.3.2 蒙特卡洛法031
2.3.3 TD学习法033
2.4 无模型控制037
2.4.1 策略改进的方法037
2.4.2 基于价值的方法038
2.4.3 基于策略的方法043
2.4.4 Actor-Critic法049

3.1 深度学习056
3.1.1 深度学习的出现和背景056
3.1.2 什么是深度学习？056
3.1.3 深度学习平台062
3.2 CNN067
3.2.1 什么是CNN067
3.2.2 CNN的应用071
3.3 RNN074
3.3.1 什么是RNN074
3.3.2 什么是LSTM079
3.3.3 RNN的应用081

4.1 深度强化学习的发展086
4.1.1 DQN的出现086
4.1.2 用于强化学习的模拟器086
4.2 行动价值函数的网络表示089
4.2.1 DQN算法089
4.2.2 DQN算法的实现092
4.2.3 学习结果099
4.3 策略函数的网络表示101
4.3.1 Actor的实现101
4.3.2 Critic的实现101
4.3.3 示例代码的介绍102
4.3.4 学习结果108


5.1 策略梯度法的连续控制114
5.1.1 连续控制114
5.1.2 策略梯度法学习114
5.2 学习算法和策略模型117
5.2.1 算法概况117
5.2.2 REINFORCE算法118
5.2.3 基准函数的引入118
5.2.4 高斯模型的策略概率119
5.3 连续行动模拟器121
5.3.1 pybullet-gym121
5.3.2 Walker2D122
5.4 算法的实现126
5.4.1 算法实现的总体构成126
5.4.2 train.py127
5.4.3 policy_estimator.py129
5.4.4 value_estimator.py132
5.5 学习结果及预测控制134
5.5.1 学习结果134
5.5.2 预测控制的结果136
5.5.3 其他环境模型的应用137
5.5.4 总结140

6.1 组合优化中的应用144
6.1.1 关于组合优化144
6.2 巡回推销员问题145
6.2.1 通过强化学习解决巡回推销员问题145
6.2.2 实现概要147
6.2.3 运行结果155
6.2.4 今后的发展趋势157
6.3 魔方问题158
6.3.1 用强化学习解决魔方问题158
6.3.2 实现概要161
6.3.3 实现结果171
6.3.4 AC+MCTS算法的预测结果173
6.3.5 今后的发展趋势177
6.4 总结179

7.1 根据SeqGAN的文本生成182
7.1.1 GAN182
7.1.2 SeqGAN183
7.1.3 输入数据185
7.1.4 使用的算法及其实现187
7.1.5 实现结果195
7.1.6 总结198
7.2 神经网络架构的搜索198
7.2.1 神经体系结构搜索198
7.2.2 语义分割199
7.2.3 U-Net200
7.2.4 文件目录结构201
7.2.5 输入数据201
7.2.6 所使用的算法204
7.2.7 实现结果213
7.2.8 总结215

附录A Colaboratory的GPU环境构建218
A.1 Colaboratory218
A.2 Colaboratory的使用方法218
附录B 通过Docker进行Windows环境的构建222
B.1 介绍222
B.2 Docker的安装222
B.3 Docker映像的创建228
B.4 容器的启动232
B.5 运行情况的查看234
参考文献238