从自拟合视角探究快速对抗训练中的灾难性过拟合
机器学习
2023-03-27 v2 人工智能
计算机视觉与模式识别
摘要
尽管快速对抗训练为构建鲁棒网络提供了高效方法，但它可能遭受一个被称为灾难性过拟合（CO）的严重问题，即多步鲁棒准确率突然崩溃至零。在本文中，我们首次将单步对抗样本解耦为数据信息与自信息，揭示了一种称为“自拟合”的有趣现象。自拟合，即网络学习单步扰动中嵌入的自信息，自然导致了CO的发生。当自拟合发生时，网络经历明显的“通道分化”现象，一些负责识别自信息的卷积通道占据主导，而另一些负责数据信息的通道被抑制。如此，网络只能识别具有充足自信息的图像，并丧失对其他类型数据的泛化能力。基于自拟合，我们对现有缓解CO的方法提供了新见解，并将CO扩展至多步对抗训练。我们的发现揭示了对抗训练中的自学习机制，并为抑制不同类型信息以缓解CO开辟了新视角。
引用
@article{arxiv.2302.11963,
title = {Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective},
author = {Zhengbao He and Tao Li and Sizhe Chen and Xiaolin Huang},
journal= {arXiv preprint arXiv:2302.11963},
year = {2023}
}
备注
Comment: The camera-ready version (accepted at CVPR Workshop of Adversarial Machine Learning on Computer Vision: Art of Robustness, 2023)