强化学习代理的交互式解释
人工智能
2025-04-09 v1
摘要
随着强化学习方法不断取得成就，理解其解决方案的需求变得越来越关键。大多数可解释强化学习(XRL)方法生成静态解释，描绘开发人员对应解释内容及方式的直观想象。相比之下，社会科学文献提出，有意义的解释应以解释者与被解释者之间的对话形式呈现，暗示了用户及其与代理机 interaction 的更积极角色。本文提出了 ASQ-IT——一个交互式解释系统，该系统根据用户查询（描述感兴趣行为的时序属性）呈现代理在其环境中行动的视频片段。我们的做法基于形式化方法：ASQ-IT 用户界面中的查询映射到我们自主开发的有限迹信号中线性时序逻辑(LTLf)的一个片段，而查询处理算法基于自动机理论。用户研究表明，终端用户能够理解并构建 ASQ-IT 中的查询，并且使用 ASQ-IT 有助于用户识别故障的代理行为。
引用
@article{arxiv.2504.05393,
title = {Interactive Explanations for Reinforcement-Learning Agents},
author = {Yotam Amitai and Ofra Amir and Guy Avni},
journal= {arXiv preprint arXiv:2504.05393},
year = {2025}
}