中文

CHALLENGER:基于归因图的训练方法

机器学习 2022-05-31 v1 人工智能

摘要

我们表明,利用归因图训练神经网络能够改进模型的正则化,从而提升性能。正则化在深度学习中至关重要,尤其是在相对较小的数据集上训练复杂模型时。为了理解神经网络的内部工作机制,诸如逐层相关性传播(LRP)等归因方法已被广泛研究,特别是用于解释输入特征的相关性。我们提出了 Challenger,这是一个利用归因图的可解释能力来操纵特别相关的输入模式的模块。因此,它暴露并随后解决了在真实数据流形上区分类别时的模糊区域,这一问题尤其在较小数据集上训练模型时出现。我们的 Challenger 模块通过在网络内构建更多样化的滤波器来提升模型性能,并可应用于任何输入数据领域。我们证明,我们的方法在仅有少量样本的数据集直至数千样本的数据集上,均能带来显著更好的分类与校准性能。特别地,我们展示了这一通用的领域无关方法在视觉、自然语言处理以及时间序列任务上均取得了最先进(SOTA)的结果。

关键词

引用

@article{arxiv.2205.15094,
  title  = {CHALLENGER: Training with Attribution Maps},
  author = {Christian Tomani and Daniel Cremers},
  journal= {arXiv preprint arXiv:2205.15094},
  year   = {2022}
}

备注

Technical report