面向可解释深度感知神经网络的层级注意力聚合

深度神经网络通常依赖其最终隐藏层产生的表示来做出预测，隐式假设该单个向量完全捕获了所有前述转换中编码的语义。然而，中间层包含从低级模式到高级抽象的丰富且互补的信息——这类信息往往在决策头仅依赖最后表示时被弃置。本文重新审视输出层的作用，提出 LAYA（Layer-wise Attention Aggregator），一种新颖的输出头，通过注意力机制动态地聚合内部表示。LAYA 学习输入条件化的注意力权重，覆盖层级特征，生成一种可解释且与体系结构无关的机制，用于合成预测。在视觉和语言基准测试中实验表明，LAYA 持续匹配或提高了标准输出头的性能，准确率提升约一百分之一点，同时提供显式的层级归因分数，揭示不同抽象层级如何为每个决策贡献。关键的是，这些可解释信号直接从模型计算中产生，无需任何外部后置解释。使用 https://github.com/gvessio/LAYA 可复现 LAYA 的代码。