理解协同合理化中的互锁动态

选择性合理化通过寻找输入的一个小子集（足以预测神经模型输出）来解释复杂神经网络的预测。选择机制通常通过指定一个两组件级联系统整合进模型本身：一个理由生成器，对输入特征进行二值选择（即理由），以及一个预测器，仅基于所选特征预测输出。这些组件联合训练以优化预测性能。本文中，我们揭示了这种协同合理化范式的一个主要问题——模型互锁。当预测器过拟合于生成器所选特征，从而强化生成器的选择（即便所选理由为次优）时，互锁便会产生。互锁问题的根本原因在于待最小化的合理化目标相对于生成器的选择策略是凹的。我们提出了一种称为 A2R 的新合理化框架，其在架构中引入第三个组件：一个由软注意力而非选择驱动的预测器。生成器现在实现对特征的软注意力与硬注意力，并将二者输入两个不同的预测器。虽然生成器仍力求支持原预测器性能，它也最小化两个预测器间的差距。正如我们将从理论上展示的，由于基于注意力的预测器展现出更好的凸性性质，A2R 能够克服凹性障碍。我们在两个合成基准与两个真实数据集上的实验表明，A2R 能显著缓解互锁问题，并找到更符合人类判断的解释。我们的代码发布于 https://github.com/Gorov/Understanding_Interlocking。