言而有信：(如何)使注意力成为解释？
计算与语言
2020-05-20 v1
摘要
注意力机制已迅速成为 NLP 中的普遍组件。除提升模型性能外，注意力还被广泛用作窥探 NLP 模型内部运作的窗口。后者方面在近年来成为常见讨论话题，尤以 Jain 与 Wallace（2019）及 Wiegreffe 与 Pinter（2019）的工作为著。随着将注意力权重用作透明性工具的缺陷被揭示，注意力机制陷入一种悬而未决的困境，缺乏关于其何时以及能否作为解释的具体证明。在本文中，我们针对注意力在序列分类任务中与循环网络结合使用时所遭受的公允批评给出解释。我们以词级目标函数的形式提出对这些问题的补救，且我们的发现为注意力提供对循环模型的忠实解释提供了可信度。
引用
@article{arxiv.2005.09379,
title = {Staying True to Your Word: (How) Can Attention Become Explanation?},
author = {Martin Tutek and Jan Šnajder},
journal= {arXiv preprint arXiv:2005.09379},
year = {2020}
}