通过教师集成的自适应知识融合进行对抗训练
机器学习
2024-05-24 v1 人工智能
摘要
对抗训练（AT）是一种流行的训练深度神经网络（DNN）以抵御对抗攻击的方法。然而，AT存在两个缺点：（i）通过AT训练的DNN的鲁棒性与DNN的大小高度相关，给较小模型实现鲁棒性带来了挑战；（ii）AT过程中使用的对抗样本泛化能力差，使得DNN容易受到未预见攻击类型的攻击。为了解决这两个挑战，本文引入了通过教师集成的自适应知识融合进行对抗训练（AT-AKA）。具体来说，我们生成一组多样化的对抗样本作为教师集成的输入；然后，我们自适应地融合这些教师的logits来训练一个具有泛化鲁棒性的学生。通过全面的实验，我们展示了AT-AKA相对于现有AT方法和对抗鲁棒性蒸馏技术在抵御包括AutoAttack在内的尖端攻击方面的优越性能。
引用
@article{arxiv.2405.13324,
title = {Adversarial Training via Adaptive Knowledge Amalgamation of an Ensemble of Teachers},
author = {Shayan Mohajer Hamidi and Linfeng Ye},
journal= {arXiv preprint arXiv:2405.13324},
year = {2024}
}