奖励兼容性：逆向强化学习的一个框架
机器学习
2025-01-15 v1
摘要
我们通过奖励兼容性这一新框架，对逆向强化学习 (IRL) 提出原始的理论研究。直观地说,当给定专家演示的奖励更接近该奖励计算的专家策略性能与该奖励的最优性能时,该奖励就更适合这些演示。这一概念推广了理论 IRL 文献中最常见的可行奖励集概念,该文献中奖励要么与演示兼容,要么不兼容。奖励兼容性引入的灰度是将可证明高效的 IRL 范围扩展到可行奖励集可实现的范围之外的关键因素:从表格型问题扩展到大规模 MDP。我们在包括最优和次优专家演示以及在线和离线数据收集等各种设置下分析 IRL 问题。对于所有这些维度,我们提供可行的算法和相应的样本复杂度分析,并提供关于奖励兼容性的各种见解,以及该框架如何为更一般的问题设置铺路。
引用
@article{arxiv.2501.07996,
title = {Reward Compatibility: A Framework for Inverse RL},
author = {Filippo Lazzati and Mirco Mutti and Alberto Metelli},
journal= {arXiv preprint arXiv:2501.07996},
year = {2025}
}