AdvCLIP：多模态对比学习中的下游无关对抗样本
计算机视觉与模式识别
2023-08-15 v1
摘要
多模态对比学习旨在利用海量原始无标注的图像-文本配对数据训练通用特征提取器（如CLIP）。这可极大惠及包括跨模态图像-文本检索与图像分类在内的多种复杂下游任务。尽管前景广阔，跨模态预训练编码器的安全问题尚未被充分探索，尤其当其公开供商业使用时。本文提出AdvCLIP，首个基于跨模态预训练编码器生成下游无关对抗样本的攻击框架。AdvCLIP旨在为一组自然图像构造通用对抗补丁，以欺骗所有继承受害跨模态预训练编码器的下游任务。为应对不同模态间异质性与下游任务未知的挑战，我们首先构建拓扑图结构以捕获目标样本与其邻域的相关位置；随后设计基于拓扑偏离的生成对抗网络来生成通用对抗补丁。将该补丁添加至图像后，可降低图像与不同模态的嵌入相似度并扰动特征空间中的样本分布，实现通用非定向攻击。结果表明AdvCLIP在八数据集两类下游任务上均具优异攻击性能。我们还定制三种流行防御以缓解AdvCLIP，凸显了防御跨模态预训练编码器新机制的需求。
关键词
引用
@article{arxiv.2308.07026,
title = {AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning},
author = {Ziqi Zhou and Shengshan Hu and Minghui Li and Hangtao Zhang and Yechao Zhang and Hai Jin},
journal= {arXiv preprint arXiv:2308.07026},
year = {2023}
}
备注
This paper has been accepted by the ACM International Conference on Multimedia (ACM MM '23, October 29-November 3, 2023, Ottawa, ON, Canada)