TPC：用于视觉语言模型幻觉减少的跨时间预测连接
计算机视觉与模式识别
2025-03-07 v1 人工智能
摘要
视觉语言模型(VLM)取得了显著进展，利用大型语言模型(LLM)在各种任务中的出色能力。尽管如此，一个被称为幻觉的关键挑战仍然存在，即模型过度自信地描述图像中不存在的对象或属性，这一问题因VLM依赖语言先验的倾向而加剧。这一限制降低了模型在高风险应用中的可靠性。在本工作中，我们观察到了logits连续性一致性增强的特征，并引入了一种简单高效的方法——跨时间预测连接(TPC)，旨在通过跨时间步连接logits来增强其语义一致性。TPC放大了信息流并提高了连贯性，有效减少了幻觉。广泛的实验表明，TPC超越了现有代表性方法，在准确性和效率方面均取得了优越性能，同时在开放式文本生成任务中保持了鲁棒性。
引用
@article{arxiv.2503.04457,
title = {TPC: Cross-Temporal Prediction Connection for Vision-Language Model Hallucination Reduction},
author = {Chao Wang and Weiwei Fu and Yang Zhou},
journal= {arXiv preprint arXiv:2503.04457},
year = {2025}
}