基于张量分解的鲁棒视觉语言模型：对抗攻击的防御

视觉语言模型 (VLMs) 在多模态理解方面表现出色，但易受对抗攻击。现有防御方法通常需要昂贵的重新训练或重大的架构更改。我们引入了一种使用张量分解的轻量级防御方法，适用于任何预训练的 VLM，且无需重新训练。通过分解和重构视觉编码器表示，该方法能在保留语义的同时过滤对抗噪声。在 COCO 和 Flickr30K 上使用 CLIP 进行的实验表明鲁棒性有所提升。在 Flickr30K 上，它恢复了 12.3% 因攻击而损失的性能，将 Recall@1 准确率从 7.5% 提升至 19.8%。在 COCO 上，它恢复了 8.1% 的性能，将准确率从 3.8% 提升至 11.9%。分析表明，采用低秩 (8-32) 和低残余强度 ($\alpha=0.1-0.2$) 的 Tensor Train 分解是最佳的。该方法对于现有的 VLM 是一种开销极小的实用即插即用解决方案。