RegMix：对抗性相互与泛化正则化以提升 DNN 鲁棒性
机器学习
2025-10-08 v1 计算机视觉与模式识别
摘要
对抗性训练是对抗攻击最有效的防御措施。对抗攻击的有效性取决于其损失函数和正则化项的设计。目前最常用的对抗训练损失函数是交叉熵，而作为正则化目标的均方误差（MSE）最为广泛使用。然而，MSE 在训练期间对两个输出分布强制执行过于均匀的优化，从而限制了其在对抗训练场景中的鲁棒性。为此，我们重访最初用于知识蒸馏的相互学习思想，提出两种针对对抗训练的新型正则化策略：（i）加权对抗性相互正则化；（ii）对抗性泛化正则化。在前者中，我们构建了一个分解的对抗性相互 KL 散度损失，通过对主要目标和辅助目标分配不等权重，灵活控制优化过程。在后者中，我们引入额外的干净目标分布到对抗训练目标中，以提高泛化性并增强模型鲁棒性。大量实验表明，我们提出的方法显著优于现有基于正则化的做法，提高了对抗鲁棒性。
引用
@article{arxiv.2510.05317,
title = {RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness},
author = {Zhenyu Liu and Varun Ojha},
journal= {arXiv preprint arXiv:2510.05317},
year = {2025}
}