论锐度感知最小化与对抗训练之间的对偶性

对抗训练（AT）在训练过程中对抗性地扰动输入样本，已被公认为对抗攻击最有效的防御手段之一，但不可避免地会降低干净准确率。与扰动样本不同，锐度感知最小化（SAM）在训练过程中扰动模型权重，以找到更平坦的损失景观并提高泛化能力。然而，由于SAM旨在获得更好的干净准确率，其在增强对抗鲁棒性方面的有效性尚未被探索。在这项工作中，考虑到SAM和AT之间的对偶性，我们研究了SAM产生的对抗鲁棒性。有趣的是，我们发现仅使用SAM就能提高对抗鲁棒性。为了理解SAM的这一意外特性，我们首先提供了关于SAM如何隐式学习更鲁棒特征的经验和理论见解，并进行了全面实验，表明SAM可以在不牺牲任何干净准确率的情况下显著提高对抗鲁棒性，这揭示了SAM在准确率优先时作为AT替代品的潜力。代码可在https://github.com/weizeming/SAM_AT获取。