图像幻觉校正能否改善视频语言对齐？
计算机视觉与模式识别
2025-02-24 v1 人工智能
计算与语言
摘要
大型视觉语言模型常生成不基于其视觉输入的幻觉内容。虽然先前工作侧重于缓解幻觉问题，但我们则探索将幻觉校正作为训练目标来提高视频语言对齐。我们引入 HACA（Hallucination Correction via self-Training），通过识别和纠正不符合视频内容的描述中的不一致性，学习校正幻觉。HACA 通过增强模型在时空推理中对视频和文本表征的对齐能力。我们的实验结果在视频-caption 绑定和文本到视频检索任务中均表现出一致的提升，表明以幻觉校正为灵感的任务是改善视觉与语言对齐的有效策略。
引用
@article{arxiv.2502.15079,
title = {Can Hallucination Correction Improve Video-Language Alignment?},
author = {Lingjun Zhao and Mingyang Xie and Paola Cascante-Bonilla and Hal Daumé and Kwonjoon Lee},
journal= {arXiv preprint arXiv:2502.15079},
year = {2025}
}