AdaGAT: 用于深度神经网络鲁棒性的自适应引导对抗训练
计算机视觉与模式识别
2025-08-26 v1
摘要
对抗蒸馏（AD）是一种知识蒸馏技术，有助于将鲁棒性从教师深度神经网络（DNN）模型迁移到轻量级目标（学生）DNN模型，使目标模型能够比仅独立训练学生模型表现得更好。一些先前工作侧重于使用小型可学习教师（引导）模型来提高学生模型的鲁棒性。由于可学习引导模型从头开始学习，在协同训练期间维持其最优状态以实现有效的知识迁移具有挑战性。因此，我们提出了一种新颖的自适应引导对抗训练（AdaGAT）方法。我们的AdaGAT方法动态调整引导模型的训练状态，以向目标模型植入鲁棒性。具体而言，我们开发了两种独立的损失函数作为AdaGAT方法的一部分，使引导模型能够更积极地参与反向传播以达到其最优状态。我们在三个数据集上通过广泛实验评估了我们的方法：CIFAR-10、CIFAR-100和TinyImageNet，使用WideResNet-34-10作为目标模型。我们的观察表明，在一定准确率范围内适当地调整引导模型，可以增强目标模型在各种对抗攻击下的鲁棒性，优于多种基线模型。
引用
@article{arxiv.2508.17265,
title = {AdaGAT: Adaptive Guidance Adversarial Training for the Robustness of Deep Neural Networks},
author = {Zhenyu Liu and Huizhi Liang and Xinrun Li and Vaclav Snasel and Varun Ojha},
journal= {arXiv preprint arXiv:2508.17265},
year = {2025}
}