互对抗训练：共同学习优于单独前行
机器学习
2023-02-13 v1 密码学与安全
计算机视觉与模式识别
摘要
近期研究表明，对对抗攻击的鲁棒性可在网络间迁移。换言之，我们可以借助一个强大的教师模型使弱模型更加鲁棒。我们探讨：模型能否不从静态教师学习，而是“共同学习”并“互相教导”以获得更好的鲁棒性？本文通过知识蒸馏研究模型间交互如何影响鲁棒性。我们提出互对抗训练（MAT），其中多个模型被共同训练并共享对抗样本的知识，从而实现改进的鲁棒性。MAT 使鲁棒模型能够探索更大的对抗样本空间，并找到更鲁棒的特征空间与决策边界。通过在 CIFAR-10 与 CIFAR-100 上的大量实验，我们证明 MAT 能有效提升模型鲁棒性，并在白盒攻击下超越 SOTA 方法，在 PGD-100 攻击下为朴素对抗训练（AT）带来约 8% 的准确率增益。此外，我们表明 MAT 还能缓解不同扰动类型间的鲁棒性权衡，在 、 与 攻击并集下为 AT 基线带来高达 13.1% 的准确率增益。这些结果展示了所提方法的优越性，并证明协作学习是设计鲁棒模型的有效策略。
引用
@article{arxiv.2112.05005,
title = {Mutual Adversarial Training: Learning together is better than going alone},
author = {Jiang Liu and Chun Pong Lau and Hossein Souri and Soheil Feizi and Rama Chellappa},
journal= {arXiv preprint arXiv:2112.05005},
year = {2023}
}
备注
Under submission