通过谱表示滤波抑制视觉语言模型幻觉
计算机视觉与模式识别
2025-11-18 v1 机器学习
摘要
视觉语言模型（VLMs）因过度依赖语言先验和交叉模态定位不准，常以幻觉形式描述图像中不存在的物体、属性或关系。我们引入谱表示滤波（Spectral Representation Filtering, SRF），一种轻量级、无需训练的方法，通过分析和纠正模型表示的协方差结构来抑制此类幻觉。SRF通过对真实描述与幻觉描述特征差异协方差的特征分解，识别出低秩幻觉模式，从而揭示特征空间中的结构性偏差。随后，软谱滤波器在更深层vLLM的前向投影权重中衰减这些模式，实现特征方差的均衡同时保持语义忠实。不同于解码或基于 retraining 的方法，SRF完全在后处理阶段运行，推理开销为零，且无需架构修改。在LLaVA-1.5、MiniGPT-4和mPLUG-Owl2三个VLMs家族中，SRF在MSCOCO、POPE-VQA等视觉任务基准上一致性地降低了幻觉率，实现了最高的忠实度而不降低标题质量。
引用
@article{arxiv.2511.12220,
title = {Suppressing VLM Hallucinations with Spectral Representation Filtering},
author = {Ameen Ali and Tamim Zoabi and Lior Wolf},
journal= {arXiv preprint arXiv:2511.12220},
year = {2025}
}