基于反事实推理改进人类逆强化学习

为了与机器人良好协作，我们必须能够理解其决策过程。人类自然地通过推理其他智能体的可观察行为来推断其信念与欲望，这种方式类似于逆强化学习（IRL）。因此，机器人可以通过提供对人类学习者的 IRL 具有信息量的演示来传达其信念与欲望。有信息量的演示是指与学习者在给定其对机器人决策过程的当前理解下所预期的机器人行为存在强烈差异的演示。然而，标准 IRL 不建模学习者已有的预期，因此无法进行此类反事实推理。我们提议将学习者对机器人决策过程的当前理解纳入我们的人类 IRL 模型中，使机器人能够选择最大化人类理解的演示。我们还提出一种新颖的度量，用于估计人类在未见环境中预测机器人行为实例的难度。一项用户研究发现，我们的测试难度度量与人类表现和置信度高度相关。有趣的是，在选择演示时考虑人类信念与反事实，会降低人类在简单测试上的表现，但提高其在困难测试上的表现，从而为如何最佳利用此类模型提供了见解。