基于多阶段优化的对抗训练
机器学习
2021-06-30 v1 计算机视觉与模式识别
摘要
在对抗鲁棒性领域，采用单步对抗训练快速开发具有对抗鲁棒性的模型是一种常见做法。然而，单步对抗训练极可能导致灾难性过拟合，因为在数个训练周期后，将难以生成强对抗样本以持续提升对抗鲁棒性。本工作中，我们旨在通过在单步对抗训练中引入多步对抗样本来避免灾难性过拟合。随后，为平衡生成多步对抗样本带来的巨大训练开销，我们提出一种基于多阶段优化的对抗训练（MOAT）方法，该方法分阶段周期性地在良性样本、单步对抗样本与多步对抗样本上训练模型。如此，总体训练开销显著降低，同时模型可避免灾难性过拟合。在 CIFAR-10 与 CIFAR-100 数据集上的大量实验表明，在相近训练开销下，所提 MOAT 展现出优于单步或多步对抗训练方法的鲁棒性。
引用
@article{arxiv.2106.15357,
title = {Multi-stage Optimization based Adversarial Training},
author = {Xiaosen Wang and Chuanbiao Song and Liwei Wang and Kun He},
journal= {arXiv preprint arXiv:2106.15357},
year = {2021}
}
备注
13 pages