基于最优传输匹配与对齐的防御数据投毒的 CLIP 预训练
计算机视觉与模式识别
2025-09-24 v1 多媒体
摘要
近期研究表明，对比语言-图像预训练（CLIP）模型因从互联网爬取的大量训练图像-标题对而受到定向数据投毒和后门攻击的威胁。先前的防御方法通过为每张图像匹配新标题来纠正被投毒的图像-标题对。然而，匹配过程仅依赖图像和标题的全局表示，忽略了视觉和文本特征的细粒度特征。这可能引入错误的图像-标题对并损害 CLIP 预训练。为了解决这些局限性，我们提出了一个基于最优传输的框架来重建图像-标题对，命名为 OTCCLIP。我们提出了一种新的基于最优传输的距离度量，用于细粒度的视觉和文本特征集，并基于所提出的最优传输距离重新分配新标题。此外，为了进一步减少不匹配对的负面影响，我们通过采用基于最优传输的目标函数来鼓励跨模态和模态内的细粒度对齐。我们的实验表明，OTCCLIP 能够成功降低投毒攻击的攻击成功率。同时，与先前的方法相比，OTCCLIP 显著提升了在投毒数据集上训练的 CLIP 的零样本和线性探测性能。
引用
@article{arxiv.2509.18717,
title = {Pre-training CLIP against Data Poisoning with Optimal Transport-based Matching and Alignment},
author = {Tong Zhang and Kuofeng Gao and Jiawang Bai and Leo Yu Zhang and Xin Yin and Zonghui Wang and Shouling Ji and Wenzhi Chen},
journal= {arXiv preprint arXiv:2509.18717},
year = {2025}
}