通过基于 Fisher-Rao 范数的正则化增强对抗训练
机器学习
2024-03-27 v1 计算机视觉与模式识别
摘要
对抗训练被广泛用于提高深度神经网络的对抗鲁棒性。然而，缓解对抗训练模型中标准泛化性能的下降仍然是一个未解决的问题。本文试图通过模型复杂度的视角来解决这个问题。首先，我们利用 Fisher-Rao 范数（一种模型复杂度的几何不变度量）为 ReLU 激活的多层感知器建立了基于交叉熵损失的 Rademacher 复杂度的非平凡界限。然后，我们推广了一个与复杂度相关的变量，该变量对模型宽度的变化和对抗训练中的权衡因素敏感。此外，大量的经验证据验证了该变量与对抗训练模型和标准训练模型之间交叉熵损失的泛化差距高度相关，尤其是在训练过程的初始和最终阶段。基于这一观察，我们提出了一种新的正则化框架，称为面向 Logit 的对抗训练（LOAT），它可以在减轻鲁棒性与准确性之间权衡的同时，仅增加可忽略不计的计算开销。我们广泛的实验表明，所提出的正则化策略可以提升主流对抗训练算法的性能，包括 PGD-AT、TRADES、TRADES (LSE)、MART 和 DM-AT，适用于各种网络架构。我们的代码将在 https://github.com/TrustAI/LOAT 上提供。
引用
@article{arxiv.2403.17520,
title = {Boosting Adversarial Training via Fisher-Rao Norm-based Regularization},
author = {Xiangyu Yin and Wenjie Ruan},
journal= {arXiv preprint arXiv:2403.17520},
year = {2024}
}
备注
This paper has been accepted to CVPR2024