防止快速对抗训练中的灾难性过拟合：基于双层优化的视角
机器学习
2024-07-18 v1 计算机视觉与模式识别
摘要
对抗训练（AT）已成为有效抵御对抗样本（AEs）的有效防御方法，通常被建模为双层优化问题。在各种 AT 方法中，快速对抗训练（FAT）采用单步攻击策略引导训练过程，可在低成本下实现对对抗攻击的良好鲁棒性。然而，FAT 方法在复杂任务或大参数模型上会 suffer from 灾难性过拟合问题。本文提出一种 FAT 方法，称为 FGSM-PCO，通过阻止双层优化过程中内层优化问题的崩溃来缓解灾难性过拟合。FGSM-PCO 从历史对抗样本生成当前阶段的对抗样本，并通过自适应机制将其纳入训练过程。该机制根据对抗样本在训练模型上的性能确定合适的融合比例。结合针用于该训练框架的 loss 函数，FGSM-PCO 可缓解灾难性过拟合并帮助恢复过拟合模型以获得有效训练。我们在三个模型和三个数据集上评估了该算法，以验证其有效性。与其他 FAT 算法的比较实证研究表明，我们提出的方法有效解决了现有算法中未解决的过拟合问题。
引用
@article{arxiv.2407.12443,
title = {Preventing Catastrophic Overfitting in Fast Adversarial Training: A Bi-level Optimization Perspective},
author = {Zhaoxin Wang and Handing Wang and Cong Tian and Yaochu Jin},
journal= {arXiv preprint arXiv:2407.12443},
year = {2024}
}