使用基于特征的生成模型进行 Dyna 规划

Dyna 式强化学习是解决缺乏大量真实数据问题的一种强大方法。其核心思想是用从已学习的环境模型中采样的模拟轨迹，或随时间采样的状态序列，来补充真实轨迹。然而，在大型状态空间中，如何学习一个好的环境生成模型至今仍是一个开放问题。我们提出使用深度信念网络来学习用于 Dyna 的环境模型。我们展示了该方法，并在状态观测由图像组成的问题上进行了实证验证。结果表明，使用作为完整生成模型的深度信念网络，显著优于 Sutton 等人 (2008) 提出的线性期望模型。