可解释性研究中的关键问题：既然已有显著性方法，为何还要用注意力作为解释？
计算与语言
2020-10-13 v1
摘要
近期，将注意力用作模型预测解释的兴趣激增，但关于注意力能否如此使用的证据不一。虽然注意力方便地为每个输入词元给出一个权重且易于提取，但其作为解释的目标通常并不清晰。我们发现，该目标（无论是否明确说明）往往是找出对预测最为相关的输入词元，且隐含的解释使用者是模型开发者。针对该目标和使用者，我们认为输入显著性方法更为合适，并且尽管注意力恰好为每个输入提供权重，并没有令人信服的理由去使用注意力。通过本立场论文，我们希望将近期部分对注意力的关注转向显著性方法，并呼吁作者在文中明确说明其解释的目标与使用者。
引用
@article{arxiv.2010.05607,
title = {The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?},
author = {Jasmijn Bastings and Katja Filippova},
journal= {arXiv preprint arXiv:2010.05607},
year = {2020}
}
备注
Accepted at BlackboxNLP 2020