AdvFunMatch：当一致性教学遇见对抗鲁棒性
机器学习
2023-05-26 v2 计算机视觉与模式识别
摘要
一致性教学（consistent teaching）是实现知识蒸馏（KD）的一种有效范式，其中学生和教师模型接收相同输入，且 KD 被视为函数匹配任务（FunMatch）。然而，FunMatch 的一个局限是它未考虑对抗鲁棒性（即模型对对抗攻击的抵抗能力）的迁移。为解决该问题，我们提出一种简单而有效的策略，称为对抗函数匹配（AdvFunMatch），其依据一致性教学，旨在匹配训练数据 范数球内所有数据点的分布。AdvFunMatch 被表述为一个极小极大优化问题，它识别使教师与学生模型输出间 KL 散度最大化的“最差情况”实例（我们称之为“不匹配样本”），然后在这些不匹配样本上匹配输出。实验结果表明，AdvFunMatch 能有效生成兼具高干净准确率与高鲁棒性的学生模型。此外，我们揭示强数据增强（如 AutoAugment）在 AdvFunMatch 中是有益的，而先前工作发现它们在对抗训练中效果较差。代码见 \url{https://gitee.com/zihui998/adv-fun-match}。
引用
@article{arxiv.2305.14700,
title = {AdvFunMatch: When Consistent Teaching Meets Adversarial Robustness},
author = {Zihui Wu and Haichang Gao and Bingqian Zhou and Ping Wang},
journal= {arXiv preprint arXiv:2305.14700},
year = {2023}
}