具有局部遗忘的重放缓冲区用于深度基于模型的强化学习中的局部环境变化适应
机器学习
2023-09-28 v2 人工智能
摘要
在神经科学中，用于判定研究对象——无论是啮齿动物还是人类——是否表现出基于模型学习的关键行为特征之一，是对环境中局部变化的有效适应，这是一种特定形式的适应性，也是本工作的重点。然而，在强化学习中，近期研究表明现代深度基于模型的强化学习（MBRL）方法对局部环境变化的适应能力很差。造成这种不匹配的一个解释是，MBRL方法通常设计时仅考虑单一任务上的样本效率，而有效适应的要求要高得多，无论在学习到的世界模型还是规划例程方面。一个尤其具有挑战性的要求是，学习到的世界模型必须在状态空间的相关部分都足够准确。对于基于深度学习的世界模型而言，由于灾难性遗忘，这是困难的。虽然重放缓冲区可以缓解灾难性遗忘的影响，但传统的先进先出重放缓冲区由于保留陈旧数据而妨碍了有效适应。在本工作中，我们展示了这种传统重放缓冲区的一个概念上简单的变体能够克服这一局限。通过仅从缓冲区中移除新观测样本局部邻域内的样本，可以构建在状态空间上保持准确性、同时能有效适应奖励函数局部变化的深度世界模型。我们通过将我们的重放缓冲区变体应用于经典Dyna方法的深度版本以及PlaNet和DreamerV2等近期方法，证明了深度基于模型的方法也能有效适应环境中的局部变化。
引用
@article{arxiv.2303.08690,
title = {Replay Buffer with Local Forgetting for Adapting to Local Environment Changes in Deep Model-Based Reinforcement Learning},
author = {Ali Rahimi-Kalahroudi and Janarthanan Rajendran and Ida Momennejad and Harm van Seijen and Sarath Chandar},
journal= {arXiv preprint arXiv:2303.08690},
year = {2023}
}