从信息论视角重访作为解释的注意力权重
计算与语言
2022-11-16 v1 人工智能
机器学习
摘要
注意力机制近来在一系列NLP任务上展现出令人印象深刻的性能，且注意力分数常被用作模型可解释性的替代指标。然而，关于注意力权重是否确实可用于识别模型最重要的输入存在争议。我们从信息论视角出发，通过度量模型输出与隐藏状态之间的互信息来探讨这一问题。通过大量实验，我们得出以下结论：（i）加性注意力和深度注意力机制比缩放点积注意力更有可能更好地保留隐藏状态与模型输出之间的信息；（ii）消融研究表明加性注意力能够主动学习解释其输入隐藏表示的重要性；（iii）当注意力值近乎相同时，注意力值的排序与互信息的排序不一致；（iv）使用温度低于1的Gumbel-Softmax相较于softmax往往产生更倾斜的注意力分数分布，因此是更具可解释性设计的更好选择；（v）某些构建模块更擅长保留互信息有序列表与注意力权重顺序之间的相关性（例如，BiLSTM编码器与加性注意力的组合）。我们的发现表明，当注意力机制与其他模型元素谨慎组合时，确实有可能作为模型解释的捷径。
引用
@article{arxiv.2211.07714,
title = {Revisiting Attention Weights as Explanations from an Information Theoretic Perspective},
author = {Bingyang Wen and K. P. Subbalakshmi and Fan Yang},
journal= {arXiv preprint arXiv:2211.07714},
year = {2022}
}