随机遗忘对鲁棒泛化的有效性
机器学习
2024-02-20 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络易受对抗攻击影响，从而损害其性能与准确率。对抗训练（Adversarial Training, AT）已成为保护神经网络免受此类攻击的主流方法。然而，AT 面临的一个关键挑战是鲁棒过拟合，即随着训练的继续，网络在测试数据上的鲁棒性能反而下降，从而阻碍泛化。受大脑主动遗忘概念的启发，我们提出了一种名为“遗忘以缓解过拟合（Forget to Mitigate Overfitting, FOMO）”的新型学习范式。FOMO 交替进行遗忘阶段和重学阶段：遗忘阶段随机遗忘一部分权重并通过权重重新初始化来调节模型信息；重学阶段则强调学习可泛化的特征。在基准数据集和对抗攻击上的实验表明，FOMO 通过显著缩小最佳与最终鲁棒测试准确率之间的差距，有效缓解了鲁棒过拟合，同时提升了最先进的鲁棒性。此外，FOMO 在标准准确率与鲁棒准确率之间提供了更好的权衡，优于基线对抗方法。最后，我们的框架能够抵御 AutoAttacks，并在许多现实场景中增强了泛化能力。
引用
@article{arxiv.2402.11733,
title = {The Effectiveness of Random Forgetting for Robust Generalization},
author = {Vijaya Raghavan T Ramkumar and Bahram Zonooz and Elahe Arani},
journal= {arXiv preprint arXiv:2402.11733},
year = {2024}
}
备注
Published as a conference paper at ICLR 2024