注意力是可解释的吗？

注意力机制近期在一系列 NLP 任务上提升了性能。由于注意力层显式地加权输入成分的表示，通常也常假定注意力可用于识别模型认为重要的信息（例如特定的上下文词 token）。我们通过操纵已训练文本分类模型中的注意力权重并分析其预测结果的差异，来检验该假定是否成立。虽然我们观察到较高注意力权重与对模型预测更大影响在某些方面相关，但也发现许多不成立的情况，即基于梯度的注意力权重排序比其大小更能预测其影响。我们得出结论：尽管注意力含噪地预测输入成分对模型的总体重要性，但它绝非可靠的指示器。