TARAC：基于时序注意力实时累积连接消除 LVLMs 感知衰减
计算机视觉与模式识别
2026-04-14 v2 人工智能
摘要
大型视觉语言模型展现出显著的能力，但因感知衰减导致幻觉问题严重限制实际部署。现有缓解方法计算开销大或需大量再训练。在本文中，我们聚焦于生成期间的视觉注意力衰减问题，这是导致幻觉的关键因素。我们提出时序注意力实时累积连接（TARAC），一种基于认知强化机制的训练无关框架，通过动态累积和注入历史注意力来维持视觉 grounding。TARAC 作为轻量级、即插即用模块运行。广泛实验表明，TARAC 在 diverse 模型（如 LLaVA、Qwen2-VL）和基准测试上均显著优于最先进方法。值得注意的是，与现有训练无关基线相比，TARAC 仅增加约 4% 的推理开销。具体而言，TARAC 在 CHAIR 上消除 25.2% 的幻觉句子，在 MME 上提升感知得分 10.65 分，验证了其有效性与高效性。
引用
@article{arxiv.2504.04099,
title = {TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection},
author = {Lei Jiang and Chunzhao Xie and Tongxuan Liu and Yuting Zeng and jinrong Guo and Yunheng Shen and Weizhe Huang and Jing Li and Xiaohua Xu},
journal= {arXiv preprint arXiv:2504.04099},
year = {2026}
}
备注
8 pages, 9 figures