三思而后行：带人类干预的安全基于模型的强化学习
人工智能
2021-11-17 v2
摘要
安全性已成为将深度强化学习应用于真实世界系统的主要挑战之一。目前，引入外部知识（如人类监督）是防止智能体进入灾难性状态的唯一手段。本文中，我们提出 MBHI，一种用于安全基于模型的强化学习的新框架，它在状态级别确保安全，并能有效避免“局部”和“非局部”灾难。MBHI 中训练了一组监督学习器来模仿人类的阻断决策。类似于人类决策过程，MBHI 会在向环境执行动作前于动力学模型中 roll out 一条想象轨迹，并估计其安全性。当想象遇到灾难时，MBHI 将阻断当前动作，并使用一种高效的 MPC 方法输出安全策略。我们在多个安全任务上评估了我们的方法，结果表明与基线相比，MBHI 在样本效率和灾难次数方面取得了更好的性能。
引用
@article{arxiv.2111.05819,
title = {Look Before You Leap: Safe Model-Based Reinforcement Learning with Human Intervention},
author = {Yunkun Xu and Zhenyu Liu and Guifang Duan and Jiangcheng Zhu and Xiaolong Bai and Jianrong Tan},
journal= {arXiv preprint arXiv:2111.05819},
year = {2021}
}
备注
CoRL 2021 accepted