注意力不能作为解释
人机交互
2022-01-28 v1 机器学习
摘要
基于注意力的解释（即显著性图）通过为深度神经网络等黑盒模型提供可解释性，被假定可提升人类对所依托模型的信任与依赖。近来已有研究表明，注意力权重常与基于梯度的特征重要性度量不相关。受此启发，我们提出后续问题：“假设仅考虑注意力权重与特征重要性高度相关的任务，此类基于注意力的解释在提升人类信任与依赖所依托模型方面的有效性如何？”换言之，我们能否将注意力用作解释？我们开展了广泛的人类实验，旨在定性与定量地评估基于注意力的解释在提升人类信任与依赖方面的适宜程度。实验结果表明，注意力不能被用作解释。
引用
@article{arxiv.2201.11194,
title = {Attention cannot be an Explanation},
author = {Arjun R Akula and Song-Chun Zhu},
journal= {arXiv preprint arXiv:2201.11194},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2109.01401, arXiv:1909.06907