对抗鲁棒 CLIP 模型可诱导更好的（鲁棒）感知度量
计算机视觉与模式识别
2025-02-18 v1 机器学习
摘要
感知相似性的度量是计算机视觉中的关键工具。近年来，基于从大规模且多样化训练集中提取特征（例如 CLIP）的感知度量变得流行。同时，这些从神经网络特征中提取的度量并不具备对抗鲁棒性。本文我们展示，通过无监督对抗微调获得的对抗鲁棒 CLIP 模型（称为 R-CLIP）可诱导更好的且对抗鲁棒的感知度量，能够在零样本设置下超越现有度量，进一步在微调后与最先进的度量保持一致。此外，我们的感知度量在相关任务上也表现出强性能，例如鲁棒图像到图像检索，这在应用于“不适合工作”（NSFW）内容检测和数据集筛选时尤为重要。当标准感知度量面临小扰动即可被攻击而完全破坏 NSFW 检测时，我们的鲁棒感知度量在受攻击时仍保持高准确率，而对未受扰动的图像表现类似。最后，由鲁棒 CLIP 模型诱导的感知度量具有更高的可解释性：特征反转可显示哪些图像被视为相似，而文本反转可查找与给定提示相关联的图像。这也允许我们可视化 CLIP 模型所学习的丰富视觉概念，包括记忆中的人物、绘画和复杂查询。
引用
@article{arxiv.2502.11725,
title = {Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
author = {Francesco Croce and Christian Schlarmann and Naman Deep Singh and Matthias Hein},
journal= {arXiv preprint arXiv:2502.11725},
year = {2025}
}
备注
This work has been accepted for publication in the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore