初始化对对抗迁移学习至关重要

随着预训练-微调范式在迁移学习中的普及，下游任务的鲁棒性已成为一个关键问题。在本工作中，我们深入探讨了迁移学习中的对抗鲁棒性，并揭示了初始化的关键作用，包括预训练模型和线性分类头。首先，我们发现了对抗鲁棒的预训练模型的必要性。具体而言，我们发现，使用标准预训练模型时，参数高效微调（PEFT）方法要么无法具备对抗鲁棒性，要么即使在微调期间采用对抗训练，在下游任务上的对抗鲁棒性仍会显著下降。令人惊讶的是，在使用鲁棒预训练模型时，我们观察到简单的线性探测在某些数据集上可以优于全微调及其他随机初始化的 PEFT 方法。我们进一步发现，线性探测在保持鲁棒预训练的鲁棒性方面表现出色。基于此，我们提出了用于对抗微调的鲁棒线性初始化（RoLI），该方法利用对抗线性探测获得的权重来初始化线性分类头，以最大限度地继承预训练的鲁棒性。在五个不同的图像分类数据集上，我们展示了 RoLI 的有效性并取得了新的最先进结果。我们的代码可在 \url{https://github.com/DongXzz/RoLI} 获取。