注意力流即 Shapley 值解释

Shapley 值作为合作博弈论中信用分配问题的解，是机器学习中一种流行的解释类型，已被用于解释特征、嵌入乃至神经元的重要性。然而在 NLP 中，留一法与基于注意力的解释仍占主导。我们能在这些不同方法之间建立联系吗？我们形式化地证明——除退化情形外——注意力权重与留一值不可能是 Shapley 值。$\textit{注意力流}$ 是通过在注意力图上运行最大流算法得到的注意力权重的后处理变体。或许令人惊讶的是，我们证明注意力流确实是 Shapley 值，至少在逐层意义上是如此。鉴于 Shapley 值许多令人满意的理论性质——这也推动了 ML 界对其的采用——我们认为 NLP 实践者在可能时应采用注意力流解释，与传统解释并用。