如何在不触动预训练基础模型的情况下（几乎）提升下游对抗鲁棒性

随着强大基础模型的兴起，预训练-微调范式正变得越来越受欢迎：基础模型使用来自多种来源的大量数据进行预训练，随后下游用户只需进行微调和适配以适应特定下游任务。然而，由于对抗训练的高计算复杂度，不可行地对基础模型进行微调以提高其在下游任务上的鲁棒性。鉴于上述挑战，我们希望在不更新或访问基础模型权重的情况下提升下游鲁棒性。灵感来自鲁棒性继承相关文献（Kim 等，2020），通过理论推导，我们识别出稳健对比学习与监督学习对抗鲁棒性之间存在密切关系。为进一步验证并利用这一理论洞见，我们设计了一个简单却有效的鲁棒自编码器作为数据预处理方法，在将数据输入基础模型之前进行处理。该方法在训练鲁棒自编码器时对基础模型完全没有访问权限。大量实验表明，所提方法在提升下游任务鲁棒性方面有效，验证了特征鲁棒性（由小的对抗对比损失所隐含）与下游任务鲁棒性之间的联系。