用于防止CLIP排版攻击的防御前缀
计算机视觉与模式识别
2023-09-07 v3
摘要
视觉-语言预训练模型(VLP)在各种视觉-语言任务中展现出革命性的改进。在VLP中，一些对抗攻击会误导模型做出错误或无意义的分类。以往研究通过微调模型或改变其架构来应对这些攻击。然而，这些方法存在丢失原模型性能的风险，且难以应用于下游任务。特别是，它们对其他任务的适用性未被考虑。本研究在不改变模型参数的情况下，解决了排版攻击对CLIP影响的问题。为此，我们拓展了“前缀学习”的思想，并提出了一种简单而有效的方法：防御前缀(Defense-Prefix, DP)，其在类名前插入DP词元以使单词对排版攻击具有“鲁棒性”。由于所提方法独立于模型参数，我们的方法可轻松应用于目标检测等下游任务。我们的方法显著提升了排版攻击数据集上分类任务的准确率，同时保持了模型的零样本能力。此外，我们将所提方法用于目标检测，证明了其高适用性与有效性。代码与数据集见 https://github.com/azuma164/Defense-Prefix。
引用
@article{arxiv.2304.04512,
title = {Defense-Prefix for Preventing Typographic Attacks on CLIP},
author = {Hiroki Azuma and Yusuke Matsui},
journal= {arXiv preprint arXiv:2304.04512},
year = {2023}
}
备注
ICCV2023 Workshop