针对稀疏攻击的快速对抗训练需要损失平滑
机器学习
2025-11-03 v2 人工智能
摘要
本文研究针对受 范数约束的稀疏对抗扰动的快速对抗训练。我们展示了在 约束扰动下采用 -step 攻击进行快速对抗训练所面临的挑战，包括性能退化和灾难性过拟合（CO）的发生。我们强调， 对抗训练中的 CO 是由 -step 攻击的次优扰动位置引起的。理论与实证分析表明，与 、 和 对抗训练相比， 对抗训练的损失景观更为崎岖。此外，我们证实崎岖的损失景观会加剧 CO。为解决这些问题，我们提出了 Fast-LS-，该方法结合了软标签与权衡损失函数来平滑对抗损失景观。大量实验表明，我们的方法能够克服灾难性过拟合的挑战，实现 SOTA 性能，并缩小针对稀疏攻击的 -step 与多步对抗训练之间的性能差距。
引用
@article{arxiv.2502.21041,
title = {Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing},
author = {Xuyang Zhong and Yixiao Huang and Chen Liu},
journal= {arXiv preprint arXiv:2502.21041},
year = {2025}
}