在对抗鲁棒迁移学习中，快速方法是否稳定？

迁移学习常用于降低模型训练的计算成本，因为微调模型允许下游任务利用从预训练数据集中学习到的特征，并快速适应新任务。这在实现对抗鲁棒性方面尤为有用，因为从头训练对抗鲁棒模型计算成本极高。然而，迁移学习的高鲁棒性仍需要在微调阶段进行对抗训练，这需要比标准微调快 1 数量级。本文重新审视了在鲁棒迁移学习中使用快速梯度符号方法（FGSM）的做法，以提高对抗微调的计算效率。我们惊讶地发现，FGSM 在对抗微调中的稳定性远高于从头训练时更为稳定。特别是，FGSM 微调在标准扰动预算 $\varepsilon=4$ 或 $\varepsilon=8$ 时并不 suffer from 灾难性过拟合问题。这种稳定性在参数高效微调方法中进一步提升，其中 FGSM 即使在 $\varepsilon=32$ 的线性探测下仍保持稳定。我们展示了这种稳定性如何在多个数据集上转化为性能。与使用更常用方法（投影梯度下降，PGD）进行微调相比，FGSM 在 $\varepsilon=4$ 和 $\varepsilon=8$ 时，仅分别损失 0.39% 和 1.39% 测试鲁棒性，同时使用 4 倍的训练时间。意外的是，FGSM 可能不仅是对抗鲁棒迁移学习中 PGD 的显著更高效替代方案，而且也是表现良好的方案。