探索正则化逆强化学习恢复的奖励的迁移性

逆强化学习（IRL）旨在从专家演示中推断奖励，其动机在于奖励而非策略是对任务最简洁且可迁移的描述 [Ng et al., 2000]。然而，对应于最优策略的奖励并不唯一，这使得目前尚不清楚 IRL 学习到的奖励在迁移到新的转移定律时是否具有可迁移性，即其最优策略是否与专家真实奖励对应的最优策略保持一致。过去的工作仅在假设可以完全访问专家策略的情况下解决了这一问题，保证了在从两个具有相同奖励但满足特定秩条件的不同转移定律的专家处学习时的可迁移性 [Rolland et al., 2022]。在这项工作中，我们表明，在只能访问专家演示的更实际场景中，在完全访问专家策略的假设下开发的条件无法保证可迁移性。我们提出以主元角作为衡量转移定律之间相似性和差异性的更精细指标，以取代二元秩条件。基于此，我们建立了两个关键结果：1）当从至少两个具有足够不同转移定律的专家处学习时，奖励向任意转移定律迁移的充分条件；2）当从单一专家处学习时，奖励向转移定律局部变化迁移的充分条件。此外，我们还提供了一个可能近似正确（PAC）算法以及从多个专家演示中学习可迁移奖励的端到端分析。