CLIPure：通过 CLIP 对潜在空间中的污染实现对抗鲁棒零样本分类
计算机视觉与模式识别
2025-03-04 v2 人工智能
摘要
本文旨在构建一个对抗鲁棒的零样本图像分类器。我们基于 CLIP，这一视觉语言预训练编码器模型，可通过匹配图像与文本提示（"a photo of a <class-name>."）执行零样本分类。我们选择净化作为实现路径，因为它无需针对特定攻击类型进行对抗训练，从而能够应对各种预见的攻击。我们通过双向随机微分方程 (SDEs) 将净化风险表述为去噪对抗样本和添加扰动到良性样本的攻击过程之间的 KL 发散。最终导出的结果启发我们在 CLIP 的多模态潜在空间中探索净化。我们提出了两种 CLIPure 方法变体：CLIPure-Diff 采用 DaLLE-2 中的 DiffusionPrior 模块来建模图像潜在向量的似然分布（建模 CLIP 潜在向量的生成过程），以及 CLIPure-Cos 采用图像与 "a photo of a." 的嵌入向量之间余弦相似度来建模似然分布。鉴于 CLIPure 是已知在多模态潜在空间中首个净化方法，而 CLIPure-Cos 是首个非基于生成模型的净化方法，我们的方法在显著提升防御效率方面具有优势。我们在 CIFAR-10、ImageNet 以及 13 个数据集上进行了广泛实验，这些数据集是之前 CLIP-based 防御方法用于评估零样本分类鲁棒性的常用数据集。结果表明，CLIPure 在鲁棒性上显著提升了 SOTA，例如在 CIFAR10 上从 71.7%提升至 91.1%，在 ImageNet 上从 59.6%提升至 72.6%，在 13 个数据集上的平均鲁棒性提升了约 108%。代码已公开于 https://github.com/TMLResearchGroup-CAS/CLIPure。
引用
@article{arxiv.2502.18176,
title = {CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification},
author = {Mingkun Zhang and Keping Bi and Wei Chen and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2502.18176},
year = {2025}
}
备注
accepted by ICLR 2025