Dyna 中基于频率的搜索控制

基于模型的强化学习已被经验证明是提高样本效率的成功策略。特别地，Dyna 是一种优雅的基于模型的架构，它集成了学习与规划，为模型的使用提供了极大的灵活性。Dyna 中最重要的组件之一称为搜索控制，指的是生成状态或状态-动作对的过程，我们从中查询模型以获取模拟经验。搜索控制对提高学习效率至关重要。在这项工作中，我们提出一种简单而新颖的搜索控制策略，通过搜索值函数的高频区域来实现。我们的主要直觉建立在来自信号处理的香农采样定理之上，该定理表明高频信号需要更多样本才能重建。我们经验性地表明高频函数更难以逼近。这提示了一种搜索控制策略：我们应当使用值函数高频区域中的状态来查询模型以获取更多样本。我们开发了一种通过梯度和 Hessian 范数局部度量函数频率的简单策略，并为该方法提供了理论依据。随后我们将该策略应用于 Dyna 中的搜索控制，并通过实验展示其在基准领域上的特性与有效性。