理解单步对抗训练中的灾难性过拟合
机器学习
2020-12-16 v2 图像与视频处理
机器学习
摘要
尽管快速对抗训练已展现出鲁棒性与高效性，但“灾难性过拟合”问题已被观察到。这是一种现象：在单步对抗训练期间，针对投影梯度下降 (PGD) 的鲁棒准确率在几个周期后突然降至 0%，而针对快速梯度符号法 (FGSM) 的鲁棒准确率升至 100%。在本文中，我们证明灾难性过拟合与单步对抗训练的特征密切相关，后者仅使用具有最大扰动的对抗样本，而非对抗方向上所有对抗样本，这导致决策边界扭曲和高度弯曲的损失曲面。基于该观察，我们提出一种简单方法，不仅防止灾难性过拟合，而且打破了单步对抗训练难以抵御多步对抗攻击的固有认知。
引用
@article{arxiv.2010.01799,
title = {Understanding Catastrophic Overfitting in Single-step Adversarial Training},
author = {Hoki Kim and Woojin Lee and Jaewook Lee},
journal= {arXiv preprint arXiv:2010.01799},
year = {2020}
}
备注
Accepted to AAAI 2021. Preprint