面向对抗鲁棒蒸馏的间接梯度匹配
计算机视觉与模式识别
2025-03-07 v2
摘要
对抗训练显著提高了对抗鲁棒性，但优越的性能主要通过大模型获得。这种小模型的显著性能差距激发了对抗蒸馏（AD）的积极研究，以缩小这一差异。现有的 AD 方法利用教师模型的 logits 作为指导。与这些方法不同，我们旨在从教师模型传递另一种知识，即输入梯度。在本文中，我们提出了一个称为间接梯度蒸馏模块（IGDM）的蒸馏模块，它间接地将学生的输入梯度与教师的输入梯度进行匹配。实验结果表明，IGDM 能够无缝集成到现有的 AD 方法中，显著提升其性能。特别是，在 CIFAR-100 数据集上使用 IGDM，当集成到 SOTA 方法中且不进行额外数据增强时，ResNet-18 架构的 AutoAttack 准确率从 28.06% 提高到 30.32%，MobileNetV2 架构的 AutoAttack 准确率从 26.18% 提高到 29.32%。
引用
@article{arxiv.2312.03286,
title = {Indirect Gradient Matching for Adversarial Robust Distillation},
author = {Hongsin Lee and Seungju Cho and Changick Kim},
journal= {arXiv preprint arXiv:2312.03286},
year = {2025}
}
备注
ICLR 2025