减少对功能词的注意力以获得视觉语言模型的免费鲁棒性
机器学习
2026-04-17 v4 计算与语言
摘要
为解决鲁棒视觉语言模型（VLM）在鲁棒性与性能之间的权衡问题，我们注意到功能词可能导致VLMs对跨模态对抗攻击产生脆弱性，随后提出了函数词去注意力（Function-word De-Attention, FDA）以缓解其影响。类似于差分放大器，FDA计算注意力头中原始注意力和功能词跨注意力之间的差异，并对后者进行差分减去，以实现更精准且更鲁棒的VLMs。我们的实验包括2个SOTA基线、6种不同攻击、2个下游任务、3个数据集和3个模型。总体而言，在检索任务上，我们的FDA在3个测试模型上实现了平均18/13/53%的ASR下降，仅有0.2/0.3/0.6%的性能下降；在视觉定位任务上，ASR下降了90%，而性能提升了0.3%。我们通过实验展示了FDA的可扩展性、泛化性和零样本性能，以及深入的消融研究与分析。代码已公开available at https://github.com/michaeltian108/FDA.
引用
@article{arxiv.2512.07222,
title = {Pay Less Attention to Function Words for Free Robustness of Vision-Language Models},
author = {Qiwei Tian and Chenhao Lin and Zhengyu Zhao and Chao Shen},
journal= {arXiv preprint arXiv:2512.07222},
year = {2026}
}
备注
The paper has been accepted by ICLR26