理解大规模模型的零样本对抗鲁棒性
计算机视觉与模式识别
2023-04-24 v2
摘要
像 CLIP 这样的预训练大规模视觉-语言模型在未见任务上展现出强大的泛化能力。然而难以察觉的对抗扰动会显著降低 CLIP 在新任务上的性能。在这项工作中，我们识别并探讨了将大规模模型适配于零样本对抗鲁棒性的问题。我们首先识别出模型适配过程中的两个关键因素——训练损失与适配方法——它们影响模型的零样本对抗鲁棒性。然后我们提出一种文本引导的对比对抗训练损失，其通过在一小组训练数据上利用对比学习将文本嵌入与对抗视觉特征对齐。我们将该训练损失应用于两种适配方法：模型微调与视觉提示微调。我们发现视觉提示微调在缺乏文本时更有效，而微调在存在文本引导时更优。总体而言，我们的方法相比 CLIP 显著提升了零样本对抗鲁棒性，在 ImageNet 和 15 个零样本数据集上平均提升超过 31 个点。我们希望本工作能有助于理解大规模模型的零样本对抗鲁棒性。
引用
@article{arxiv.2212.07016,
title = {Understanding Zero-Shot Adversarial Robustness for Large-Scale Models},
author = {Chengzhi Mao and Scott Geng and Junfeng Yang and Xin Wang and Carl Vondrick},
journal= {arXiv preprint arXiv:2212.07016},
year = {2023}
}