多模态对比学习的鲁棒防御策略：高效微调以抵御后门攻击
计算机视觉与模式识别
2025-11-18 v1 人工智能
摘要
多模态深度学习模型（如CLIP）的兴起开辟了从图像-文本理解到分类任务的广泛应用前沿。然而，这些模型面临对抗性攻击的风险，尤其是后门攻击，可微妙操控模型行为。此外，现有防御方法通常需要从头训练或使用大规模数据集进行微调，却未能精准定位受影响的特定标签。本研究提出一种创新策略，增强多模态对比学习模型抵御此类攻击的鲁棒性。具体而言，给定受毒化的CLIP模型，我们的方法能够高效识别后门触发器并定位受害样本与目标标签。为此，引入图像分割“oracle”作为受毒化CLIP输出的监督者。我们开发了两种算法来纠正受毒化模型：（1）通过区分CLIP与Oracle的知识识别潜在触发器；（2）定位受影响的标签与受害者样本，并构建紧凑的微调数据集。凭借这些知识，我们能够消除后门效应。基于视觉识别基准的大量实验表明，该策略在CLIP类后门防御方面有效。
关键词
引用
@article{arxiv.2511.13545,
title = {Robust Defense Strategies for Multimodal Contrastive Learning: Efficient Fine-tuning Against Backdoor Attacks},
author = {Md. Iqbal Hossain and Afia Sajeeda and Neeresh Kumar Perla and Ming Shao},
journal= {arXiv preprint arXiv:2511.13545},
year = {2025}
}