基于世界模型的强化学习中的新颖性检测

使用世界模型的强化学习（RL）近期取得了显著成功。然而，当世界机制或属性发生突变时，智能体的性能与可靠性可能急剧下降。我们将视觉属性或状态转移的突变称为新颖性（novelties）。在生成式世界模型框架中实现新颖性检测，对于保护部署中的智能体是一项关键任务。本文中，我们提出直接的边界方法，通过将世界模型幻觉状态与真实观测状态的不对齐作为异常分数，将新颖性检测引入世界模型 RL 智能体。我们提供了在智能体于世界模型中学习的转移分布中检测新颖性的有效方法。最后，我们在一种新颖环境中展示了相比传统机器学习新颖性检测方法以及当前公认的聚焦 RL 的新颖性检测算法，我们工作的优势。