State2Explanation：基于概念的解释以裨益智能体学习与用户理解
机器学习
2023-11-13 v2 人工智能
摘要
随着更多非 AI 专家将复杂 AI 系统用于日常任务，为开发能被非 AI 专家理解、解释 AI 决策的方法，业界已付出日益增多的努力。朝此努力，利用更高层概念并生成基于概念的解释已成为一种流行方法。大多数基于概念的解释是为分类技术开发，我们认为现有少数面向序列决策的方法范围有限。本工作中，我们首先贡献了在序列决策设定中定义概念的期望属性。此外，受“普罗特吉效应”（即解释知识常能强化自我学习）启发，我们探究对 RL 智能体决策的基于概念的解释如何反过来提高智能体学习率，并改善终端用户对智能体决策的理解。为此，我们贡献了一个统一框架 State2Explanation (S2E)，其包含学习状态-动作对与基于概念的解释之间的联合嵌入模型，并利用该学习模型同时 (1) 在智能体训练期间指导奖励塑形，以及 (2) 在部署时向终端用户提供解释以提升任务表现。我们在 Connect 4 与 Lunar Lander 中的实验验证证明了 S2E 在提供双重益处上的成功：成功指导奖励塑形并提高智能体学习率，以及显著改善部署时终端用户的任务表现。
引用
@article{arxiv.2309.12482,
title = {State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding},
author = {Devleena Das and Sonia Chernova and Been Kim},
journal= {arXiv preprint arXiv:2309.12482},
year = {2023}
}
备注
NeurIPS 2023