深度强化学习中的目标误泛化
机器学习
2023-01-11 v7 人工智能
摘要
我们研究目标误泛化,这是强化学习(RL)中一种分布外泛化失败的类型。目标误泛化失败发生在RL智能体在分布外仍保持其能力,却追求错误目标之时。例如,一个智能体可能继续熟练地避开障碍,却导航到了错误的位置。相比之下,先前的工作通常聚焦于能力泛化失败,即智能体在测试时无法做出任何合理的举动。我们形式化了能力泛化与目标泛化之间的这一区分,提供了目标误泛化的首个经验性演示,并给出了其成因的部分刻画。
引用
@article{arxiv.2105.14111,
title = {Goal Misgeneralization in Deep Reinforcement Learning},
author = {Lauro Langosco and Jack Koch and Lee Sharkey and Jacob Pfau and Laurent Orseau and David Krueger},
journal= {arXiv preprint arXiv:2105.14111},
year = {2023}
}
备注
Published in ICML 2022. 9 Pages