你认为你要去哪？：从行为推断关于动力学的信念

从观测行为推断意图已在贝叶斯逆规划与逆强化学习的框架内被广泛研究。这些方法推断出一个最能解释被观测智能体（通常为人类演示者）动作的目标或奖励函数。另一智能体可利用该推断出的意图来预测、模仿或辅助人类用户。然而，逆强化学习的一个核心假设是演示者接近最优。尽管存在对次优行为的建模，但它们通常假设次优动作是某种随机噪声或已知认知偏差（如时间不一致性）的结果。本文中，我们采取另一种思路，将次优行为建模为内部模型错误指定的结果：用户动作可能偏离近最优动作的原因在于用户对支配动作如何影响环境的规则——即动力学——持有一组错误的信念。我们的洞见是：尽管演示动作在真实世界中可能次优，但相对于用户内部的动力学模型它们可能实际上是近最优的。通过从观测行为估计这些内部信念，我们得到了一种推断意图的新方法。我们在仿真及一项有 12 名参与者的用户研究中证明，该方法使我们能更准确地建模人类意图，并可用于多种应用，包括共享自治框架中的辅助提供与人类偏好推断。