MixACM：基于Mixup的激活通道图蒸馏鲁棒性迁移
机器学习
2021-11-10 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络易受自然输入中对抗性构造的、微小且不可察觉的扰动影响。针对这些样本最有效的防御机制是对抗训练，其在训练期间通过迭代最大化损失来构造对抗样本，然后训练模型最小化这些构造样本上的损失。这种极小极大优化需要更多数据、更大容量模型和额外计算资源，还会降低模型的标准泛化性能。我们能否更高效地实现鲁棒性？本文从知识迁移视角探讨该问题。首先，我们从理论上证明了在mixup增强辅助下，鲁棒性可从对抗训练的教师模型迁移至学生模型。其次，我们提出一种名为基于Mixup的激活通道图（MixACM）迁移的新型鲁棒性迁移方法。MixACM通过匹配无需昂贵对抗扰动即可生成的激活通道图，将鲁棒性从鲁棒教师迁移至学生。最后，在多个数据集和不同学习场景上的大量实验表明，我们的方法在迁移鲁棒性的同时提升了自然图像上的泛化能力。
引用
@article{arxiv.2111.05073,
title = {MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps},
author = {Muhammad Awais and Fengwei Zhou and Chuanlong Xie and Jiawei Li and Sung-Ho Bae and Zhenguo Li},
journal= {arXiv preprint arXiv:2111.05073},
year = {2021}
}
备注
Accepted by NeurIPS 2021