AGKD-BML：基于注意力引导知识蒸馏与双向度量学习的对抗攻击防御
计算机视觉与模式识别
2021-08-16 v1
摘要
尽管深度神经网络在许多任务中表现出令人印象深刻的性能，但它们对精心设计的对抗攻击十分脆弱。我们提出一种基于对抗训练的模型，称为注意力引导知识蒸馏与双向度量学习（AGKD-BML）。注意力知识从在干净数据集上训练且权重固定的模型（称为教师模型）获得，并迁移到在对抗样本（AEs）上训练的模型（称为学生模型）。以此方式，学生模型能够聚焦于正确区域，并修正被 AEs 破坏的中间特征，最终提升模型精度。此外，为有效正则化特征空间中的表示，我们提出双向度量学习。具体而言，给定干净图像，首先将其攻击至其最易混淆类别以获得前向 AE；然后随机选取该最易混淆类别中的干净图像并攻击回原始类别以获得后向 AE。随后使用三元组损失缩短原图像与其 AE 的表示距离，同时拉大前向与后向 AE 之间的距离。我们在两个广泛使用的数据集上针对不同攻击进行了大量对抗鲁棒性实验。我们提出的 AGKD-BML 模型一致优于当前最优方法。AGKD-BML 的代码将发布于：https://github.com/hongw579/AGKD-BML。
引用
@article{arxiv.2108.06017,
title = {AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning},
author = {Hong Wang and Yuefan Deng and Shinjae Yoo and Haibin Ling and Yuewei Lin},
journal= {arXiv preprint arXiv:2108.06017},
year = {2021}
}
备注
ICCV 2021 paper