何色为是？面向多模态幻觉的文本干扰基准
计算机视觉与模式识别
2025-11-20 v2
摘要
随着大型模型的快速发展，越来越多的文本-视觉融合型多模态大型模型 (MLMs) 相继涌现。然而，这些 MLMs 在视觉感知方面仍然容易受到信息干扰，尤其是在颜色感知方面，这引入了额外的幻觉风险。为验证这一假设，我们引入 "What Color Is It" 数据集，这是一个通过简单方法触发 MLMs 单模态视觉幻觉的新型基准。基于该数据集，我们进一步探讨了 MLMs 视觉模态中幻觉的根本原因，并提出了可能的解决方案以增强其鲁棒性。
引用
@article{arxiv.2511.13400,
title = {What Color Is It? A Text-Interference Multimodal Hallucination Benchmark},
author = {Jinkun Zhao and Lei Huang and Haixin Ge and Wenjun Wu},
journal= {arXiv preprint arXiv:2511.13400},
year = {2025}
}