智能体行为的局部与全局解释：将策略摘要与显著性图相融合

随着强化学习(RL)的发展，智能体正被应用于医疗健康和交通等高风险领域。解释这些智能体的行为具有挑战性，因为它们所处的环境具有巨大的状态空间，且其决策可能受到延迟奖励的影响，使得行为分析十分困难。为解决该问题，已有若干方法被提出。一些方法试图传达智能体的全局行为，描述其在不同状态下所采取的行动；另一些方法设计了局部解释，提供关于智能体在特定状态下决策的信息。本文中，我们结合全局与局部解释方法，并评估它们联合与分别的贡献，提供了（据我们所知）首个针对RL智能体局部与全局组合解释的用户研究。具体而言，我们用从智能体仿真中提取重要状态轨迹的策略摘要，来增强显示智能体关注信息的显著性图。我们的结果表明，摘要中包含哪些状态（全局信息）强烈影响人们对智能体的理解：与观看随机选取世界状态下智能体行为的参与者相比，观看包含重要状态摘要的参与者表现显著更优。关于用显著性图（局部信息）增强演示，我们得到了混合结果，因为在多数情况下显著性图的加入并未显著提升表现。然而，我们确实发现一些证据表明显著性图能帮助用户更好地理解智能体决策所依赖的信息，这为未来进一步改进RL智能体解释的工作指明了方向。