驾驶动作预测的无噪声解释

虽然注意力机制在基于 Transformer 的架构中在各种人工智能领域取得了显著进展，但其内部工作仍需探索。现有的可解释方法侧重点不同，却比较片面。它们主要分析注意力机制或梯度基的方法，却忽略了输入特征值的大小或跳跃连接模块。此外，这些方法不可避免地会带来与模型决策无关的噪声像素归因，阻碍了人们对可视化结果的信任。因此，我们提出了一种易于实现但有效的方法来修补这一缺陷：Smooth Noise Norm Attention (SNNA)。我们对注意力加权其变换值向量的范数，并通过注意力梯度引导标签特定信号，然后随机抽取输入扰动并对其对应的梯度求平均，以产生无噪声的归因。与之前在二分类或多分类任务上评估解释方法不同，本文探索了更复杂的多标签分类场景，即驾驶动作预测任务，并为其专门训练了一个模型。定性和定量评估结果表明，SNNA 在生成更清晰的可视化解释图和排序输入像素重要性方面优于其他 SOTA 注意力基可解释方法。