探究注意力头中的神经元消融：峰值激活居中的案例

基于 Transformer 的模型在整个社会中的应用正迅速增长。随着这种增长，理解它们的工作原理，特别是注意力机制如何表示概念，变得非常重要。尽管存在许多可解释性方法，但许多方法是通过神经元的激活来观察模型的，而人们对神经元激活的理解还很薄弱。我们描述了观察神经元激活的不同视角，并通过各种神经消融方法研究了它们在语言模型和视觉 Transformer 中的有效性：这些方法包括零消融、均值消融、激活重采样，以及一种我们称之为“峰值消融”的新方法。通过实验分析，我们发现在不同的机制和模型中，与其他方法相比，每种方法都能提供最低的模型性能退化，而重采样通常会导致最显著的性能下降。我们在 https://github.com/nickypro/investigating-ablation 公开了我们的代码。