过度不变性导致对抗脆弱性
机器学习
2020-07-14 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
尽管深度神经网络表现出令人印象深刻的性能，它们在对分布外输入时表现出惊人的失败。对抗样本研究的一个核心思想是揭示此类分布偏移下神经网络的错误。我们将这些错误分解为两个互补的来源：敏感性和不变性。我们表明，深度网络不仅对其输入中与任务无关的变化过于敏感(如 epsilon-对抗样本所熟知的那样)，而且对各种与任务相关的变化也过于不变，从而使输入空间中的广阔区域易受对抗攻击。我们表明这种过度不变性出现在各种任务和架构类型中。在 MNIST 和 ImageNet 上，人们可以在几乎不改变隐藏激活的情况下操纵任何图像的类特定内容。我们确定了标准交叉熵损失的不足是这些失败的一个原因。此外，我们基于信息论分析扩展了该目标，使其鼓励模型在其决策中考虑所有任务相关特征。这提供了首个明确旨在克服过度不变性及由此产生的脆弱性的方法。
引用
@article{arxiv.1811.00401,
title = {Excessive Invariance Causes Adversarial Vulnerability},
author = {Jörn-Henrik Jacobsen and Jens Behrmann and Richard Zemel and Matthias Bethge},
journal= {arXiv preprint arXiv:1811.00401},
year = {2020}
}