基于深度Q学习的自动规划目标选择

本文提出了一种具备学习子目标选择模块的规划与行动架构，采用深度Q学习。该方法使我们能够在面对具有实时限制的情景时减少规划器的负担。我们在用作智能系统应用标准测试环境的视频游戏中训练了该架构，测试于同一游戏的不同关卡，以评估其泛化能力。我们衡量了随着训练数据增加而获得的性能，以及与经典规划器和标准深度Q学习算法的比较。所得结果表明，当考虑计划质量（计划长度）和时间要求时，我们的方法优于所考虑的替代方法。在一方面，它比标准深度Q学习更具样本效率，并且能够跨关卡更好地泛化。在另一方面，它在降低问题解决时间方面优于最先进的自动规划器，代价仅是获得的计划动作数增加9%。