意图感知策略图：在不透明智能体中回答“是什么”、“怎么做”与“为什么”

智能体是一种特殊的基于 AI 的软件，它们在复杂环境中交互，并具有更高的涌现行为潜力。解释这种涌现行为是部署可信赖 AI 的关键，但许多智能体实现日益增加的复杂性和不透明性使这变得困难。在这项工作中，我们提出了一个概率图模型以及设计该模型的流水线——借此可以审议智能体的行为——并为智能体在任何时刻的意图计算出一个稳健的数值。我们贡献了用于评估所提供解释的可解释性与可靠性的度量方法，并支持诸如“你现在想做什么？”（例如送汤）、“你计划怎么做？”（例如返回一个考虑其技能与外部世界的计划），以及“你为什么在这个状态下采取此行动？”（例如解释该行动如何促进或阻碍其自身目标）等可解释性问题。该模型可以通过对智能体动作和世界状态进行部分观察来构建，并且我们提供了一个迭代工作流，通过更好的设计和/或指出不合理的智能体行为来提升所提出的度量指标。