借助对抗训练重访适配器
计算机视觉与模式识别
2022-10-11 v1 机器学习
摘要
尽管对抗训练通常用作防御机制，近期工作表明它也可作为正则化器。通过在干净与对抗样本上协同训练神经网络，可提升其在干净、非对抗输入上的分类准确率。我们证明，与先前发现相反，在干净与对抗输入上协同训练时无需分离批统计，且对每类输入使用含少量领域特定参数的适配器已足够。我们确定，使用Vision Transformer（ViT）的分类令牌作为适配器即足以匹配双归一化层的分类性能，同时所用额外参数显著更少。首先，我们将非对抗训练的ViT-B16模型在ImageNet上的top-1准确率提升+1.12%（达到83.76% top-1准确率）。其次，更重要的是，我们展示使用适配器训练可通过干净与对抗令牌的线性组合实现模型汤（model soups）。我们将这些模型汤称为对抗模型汤，其使我们能在不牺牲效率的前提下权衡干净与鲁棒准确率。最后，我们展示在面临分布偏移时可轻松适配所得模型。我们的ViT-B16在ImageNet变体上的top-1准确率平均比Masked Autoencoders所得高+4.00%。
引用
@article{arxiv.2210.04886,
title = {Revisiting adapters with adversarial training},
author = {Sylvestre-Alvise Rebuffi and Francesco Croce and Sven Gowal},
journal= {arXiv preprint arXiv:2210.04886},
year = {2022}
}