NormGrad：寻找对训练起作用的像素
计算机视觉与模式识别
2019-10-22 v1 机器学习
摘要
各类显著性方法，无论是基于对比信号、混合梯度与激活的闭式公式，还是基于扰动掩码，都聚焦于图像哪些部分对模型的推理负责。在本文中，我们更关注图像中对模型训练有贡献的位置。首先，我们提出一种基于原理的归因方法，从用于计算 1x1 卷积层权重梯度的求和公式中提取得出。所得公式计算快速且可用于整个网络，使我们能高效生成细粒度的重要性图。我们将展示如何扩展它以在网络中任意目标点计算显著性图。其次，为使归因真正特定于模型的训练，我们引入一种显著性方法的元学习途径，在损失中考虑内部优化步骤。这样，我们的目标不是识别对模型输出有贡献的图像部分，而是识别对该图像上模型良好训练负责的位置。反之，我们也展示类似的元学习途径可用于提取可能导致模型退化的对抗性位置。
引用
@article{arxiv.1910.08823,
title = {NormGrad: Finding the Pixels that Matter for Training},
author = {Sylvestre-Alvise Rebuffi and Ruth Fong and Xu Ji and Hakan Bilen and Andrea Vedaldi},
journal= {arXiv preprint arXiv:1910.08823},
year = {2019}
}