通过注意力重新分配缓解大型多模态模型中的气造言
人工智能
2025-04-15 v1 计算机视觉与模式识别
摘要
大型多模态模型（LMM）在广泛的任务中展现出卓越的能力。然而，他们对用户气造言的脆弱性——即使用误导或矛盾输入——引发了关于其在实际应用中可靠性的严重关切。本文针对缓解基于否定的气造言对 LMM 的负面影响提出新方案，解决该新且具挑战性的问题。具体而言，我们引入 GasEraser，一种无需训练的方案，通过重新分配注意力权重从误导性文本标记转向语义上关键的视觉区域。通过抑制“注意力沉底”标记的影响并增强对视觉依据线索的关注，GasEraser 在无需重新训练或额外监督的情况下显著提升了 LMM 的鲁棒性。广泛的实验结果表明，GasEraser 在多个领先开源 LMM 上有效，尤其是 LLaVA-v1.5-7B，GasEraser 可将误导率降低 48.2%，展现了其构建更可信赖 LMM 的潜力。
引用
@article{arxiv.2504.09456,
title = {Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs},
author = {Pengkun Jiao and Bin Zhu and Jingjing Chen and Chong-Wah Ngo and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2504.09456},
year = {2025}
}