从像素到力矩：利用深度动力学模型的策略学习

在使用非常高维观测的连续状态-动作空间中进行数据高效学习，仍是开发完全自主系统的关键挑战。本文考虑此挑战的一个实例，即像素到力矩问题，其中智能体必须仅从像素信息学习闭环控制策略。我们引入了一种数据高效的、基于模型的强化学习算法，该算法直接从像素信息学习此类闭环策略。关键要素是一个深度动力学模型，它使用深度自编码器联合学习图像的低维嵌入以及该低维特征空间中的预测模型。联合学习确保了不仅数据的静态而且动态特性均被考虑。这对于长期预测至关重要，而长期预测是我们用于闭环控制的自适应模型预测控制策略的核心。与针对连续状态和动作的最先进强化学习方法相比，我们的方法学习快速，可扩展到高维状态空间，并且是迈向完全自主的从像素到力矩学习的重要一步。