神经网络的快速公理性归因
机器学习
2021-11-16 v1 计算机视觉与模式识别
摘要
减轻训练数据集中存在的伪相关依赖是深度学习快速兴起且重要的课题。近期方法将深度神经网络（DNN）的特征归因先验纳入训练过程以减少对不需要特征的依赖。然而，迄今为止，人们不得不在满足期望公理的高质量归因与计算所需时间之间进行权衡。这进而导致要么训练时间长，要么归因先验无效。在本工作中，我们通过考虑一类特殊的高效公理性可归因 DNN 打破了这一权衡，该类网络仅需一次前向/反向传播即可计算公理性特征归因。我们形式化证明非负齐次 DNN（此处称为 -DNN）是高效公理性可归因的，并表明它们可以通过简单地移除每层偏置项从广泛的常规 DNN 轻松构建。各类实验证明了 -DNN 的优势，在使用归因先验训练时击败了常规 DNN 上最先进的通用归因方法。
引用
@article{arxiv.2111.07668,
title = {Fast Axiomatic Attribution for Neural Networks},
author = {Robin Hesse and Simone Schaub-Meyer and Stefan Roth},
journal= {arXiv preprint arXiv:2111.07668},
year = {2021}
}
备注
To appear at NeurIPS*2021. Project page and code: https://visinf.github.io/fast-axiomatic-attribution