强化学习的对比解释学习：为智能体决策提供解释
人工智能
2025-09-23 v2 机器学习
摘要
强化学习（RL）在解决复杂决策问题方面已显示出显著的成功，但由于其决策过程缺乏可解释性，仍难以在关键领域得到广泛应用。现有的可解释人工智能（xAI）方法往往无法为RL智能体提供有意义的解释，尤其是忽略了人类推理的对比本质——即回答“为何选择此行动而非彼行动”。为此，我们提出了一种新的对比学习框架，用于解释RL所选动作，命名为VisionMask。VisionMask通过自监督方式训练，显式地通过与给定状态下备选动作进行对比，来生成对智能体所选动作的解释。我们通过在多样化RL环境中的实验，围绕忠实性、鲁棒性和复杂度进行评估。我们的结果表明，VisionMask在保持准确性和忠实性的同时，显著提高了人类对智能体行为的理解。此外，我们还展示了VisionMask用于反事实分析的示例。本工作填补了RL与xAI之间的鸿沟，为更可解释和更安全的RL系统铺平了道路。
引用
@article{arxiv.2411.16120,
title = {Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning},
author = {Rui Zuo and Simon Khan and Zifan Wang and Garrett Ethan Katz and Qinru Qiu},
journal= {arXiv preprint arXiv:2411.16120},
year = {2025}
}