无参数表示对齐：解析多模态幻觉现象
计算机视觉与模式识别
2024-09-04 v1 机器学习
摘要
幻觉是多模态大语言模型（MLLMs）中常见的问题，但其背后的原理仍鲜为人知。本文研究了哪些组件贡献了对象幻觉。为在分析图像表示时完全避免除图像表示本身外的所有其他因素的影响，我们提出了一种无参数表示对齐指标（Pfram），该指标无需额外训练参数即可衡量任意两个表示系统之间的相似性。值得注意的是，Pfram还可以评估神经表示系统与人类表示系统（由图像真实标注组成）的对齐程度。通过使用对象标注进行对齐评估，我们证明了该指标在广泛的前沿MLLMs上表现出与对象幻觉高度且一致的相关性，这些模型涵盖了各种模型架构和规模。此外，利用该指标，我们探讨了MLLMs中其他关键问题，如不同模块的作用、文本指令的影响以及潜在改进（包括使用替代视觉编码器）。我们的代码已公开：https://github.com/yellow-binary-tree/Pfram。
引用
@article{arxiv.2409.01151,
title = {Understanding Multimodal Hallucination with Parameter-Free Representation Alignment},
author = {Yueqian Wang and Jianxin Liang and Yuxuan Wang and Huishuai Zhang and Dongyan Zhao},
journal= {arXiv preprint arXiv:2409.01151},
year = {2024}
}