忠实注意力解释器：基于判别性特征的决策文本化
计算与语言
2024-05-28 v2 人工智能
计算机视觉与模式识别
摘要
近年来，模型解释方法被设计用于忠实且直观地解释模型决策，以便用户能够轻松理解。在本文中，我们提出了一个框架，即忠实注意力解释器（FAE），能够针对所关注的特征生成忠实的文本解释。为实现这一目标，我们部署了一个注意力模块，该模块利用分类器的视觉特征图来生成句子。此外，我们的方法成功学习了特征与单词之间的关联，从而允许使用一种新颖的注意力强制模块进行注意力解释。我们的模型在两个数据集（CUB和ACT-X）上的图像描述质量指标和忠实决策相关性指标中取得了有前景的性能。此外，我们展示了FAE能够解释基于注视点的人类注意力，因为人类注视点指示了人类用于决策的判别性特征，这证明了将人类注视点部署于高级人机交互的潜力。
引用
@article{arxiv.2405.13032,
title = {Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features},
author = {Yao Rong and David Scheerer and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2405.13032},
year = {2024}
}