用于安全探索的 Atari 智能体近似屏蔽

在约束设定中平衡探索与保守性是重要问题，若我们欲将强化学习用于现实世界中有意义的任务。本文中，我们提出一种基于屏蔽概念的安全探索原则性算法。先前屏蔽方法假定可获取环境的安全相关抽象或高保真模拟器。相反，我们的工作基于潜在屏蔽——另一种利用世界模型在习得动力学模型的潜在空间中验证策略展开的方法。我们的新算法构建于该先前工作之上，使用安全评判器与其他附加特征以提升算法的稳定性与远见性。我们通过在少量具有状态依赖安全标签的 Atari 游戏上运行实验，展示了方法的有效性。我们呈现的初步结果表明，我们的近似屏蔽算法有效降低了安全违规率，且在某些情况下提升了最终智能体的收敛速度与质量。