通过输入损失景观分析与正则化理解和对抗鲁棒过拟合
机器学习
2022-12-12 v1
摘要
对抗训练被广泛用于提升深度神经网络对对抗攻击的鲁棒性。然而，对抗训练易出现过拟合，其成因远未明晰。本工作通过分析关于输入的损失景观，阐明过拟合背后的机制。我们发现鲁棒过拟合源于标准训练，具体为干净损失的最小化，并可通过损失梯度的正则化缓解。此外，我们发现鲁棒过拟合在对抗训练中加剧，部分原因是随着损失景观曲率增大，对抗训练的梯度正则化效应减弱。为改善鲁棒泛化，我们提出一种新的正则化器，通过惩罚沿对抗方向的加权 logits 变化来平滑损失景观。我们的方法显著缓解鲁棒过拟合，并与以往同类方法相比实现了最高的鲁棒性与效率。代码见 https://github.com/TreeLLi/Combating-RO-AdvLC。
引用
@article{arxiv.2212.04985,
title = {Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization},
author = {Lin Li and Michael Spratling},
journal= {arXiv preprint arXiv:2212.04985},
year = {2022}
}
备注
published in journal Pattern Recognition: https://www.sciencedirect.com/science/article/pii/S0031320322007087?via%3Dihub