过拟合还是欠拟合？理解对抗训练中的鲁棒性下降
机器学习
2020-10-19 v1 人工智能
计算机视觉与模式识别
摘要
我们的目标是理解为何在对抗训练进行过久后鲁棒性会下降。尽管该现象通常被解释为过拟合，我们的分析表明其主要成因是扰动欠拟合。我们观察到训练过久后，FGSM 生成的扰动退化为随机噪声。直观上，由于未对扰动生成器进行参数更新以强化之，一旦该过程崩溃，便可能陷入此类局部最优。此外，使该过程复杂化可在很大程度上避免鲁棒性下降，这支持了该研究现象由欠拟合而非过拟合引起。基于我们的分析，我们提出 APART，一种自适应对抗训练框架，其对扰动生成进行参数化并逐步强化之。使扰动免于欠拟合释放了我们框架的潜力。实验中，APART 以仅约 1/4 的计算成本提供了与 PGD-10 相当甚至更优的鲁棒性。
引用
@article{arxiv.2010.08034,
title = {Overfitting or Underfitting? Understand Robustness Drop in Adversarial Training},
author = {Zichao Li and Liyuan Liu and Chengyu Dong and Jingbo Shang},
journal= {arXiv preprint arXiv:2010.08034},
year = {2020}
}
备注
Work in Progress