MEAT：基于中值集成的对抗训练以提升鲁棒性和泛化能力
机器学习
2024-06-21 v1 计算机视觉与模式识别
摘要
自集成对抗训练方法通过在不同训练时刻对模型进行集成（如模型权重平均）来提高模型鲁棒性，但之前的研究表明，自集成防御方法在对抗训练（AT）中仍然存在鲁棒性过拟合问题，这严重影响了泛化性能。经验上，在训练的后期阶段，AT对个体权重平均也会产生过拟合并产生异常权重值，这导致由于未能消除权重异常值，自集成模型继续发生鲁棒性过拟合。为解决此问题，本文旨在解决权重空间中异常值（outlier）的影响，提出一种简单有效的中值集成对抗训练（MEAT）方法，从根本上解决自集成防御中存在的鲁棒性过拟合现象，通过搜索历史模型权重的中值来实现。实验结果表明，MEAT在抵御强大的AutoAttack方面实现了最佳鲁棒性，并有效缓解了鲁棒性过拟合。我们进一步表明，大多数防御方法可以通过与MEAT结合来提高鲁棒性和鲁棒泛化能力。
引用
@article{arxiv.2406.14259,
title = {MEAT: Median-Ensemble Adversarial Training for Improving Robustness and Generalization},
author = {Zhaozhe Hu and Jia-Li Yin and Bin Chen and Luojun Lin and Bo-Hao Chen and Ximeng Liu},
journal= {arXiv preprint arXiv:2406.14259},
year = {2024}
}