部分可观测帮助游戏中的观察干扰

我们研究了部分可观测帮助游戏（POAGs），这是一种人类-人工智能价值对齐问题模型，允许人类和人工智能助手具有部分观察。针对AI欺骗的担忧，我们研究了部分可观测性所可能导致的一种新现象：人工智能助手是否会有意愿干扰人类的观察？首先，我们证明了有时即使在人类以最佳方式行动的情况下，以及即使存在其他不干扰观察的等效动作时，最优助手也必须采取干扰人类观察的动作。尽管这一结果似乎与单一代理决策中价值信息非负的经典定理相矛盾，我们通过发展一种在整个政策上定义的干扰概念来解决这一看似矛盾的矛盾。这可视为将经典结果（价值信息非负）扩展到合作多代理设置。其次，我们证明了如果人类仅基于他们的即时结果做出决策，助手可能需要干扰观察以查询人类的偏好。我们显示，这种干扰的动机在人类以最佳方式行动或我们引入用于人类向助手传递其偏好的通信信道时会消失。第三，我们展示了如果人类依据布拉格模型的非理性行为，助手可能会有动机干扰观察。最后，我们使用实验模型来分析AI助手在实际中在是否采取干扰观察的动作方面所面临的权衡。