为无根基者奠基：量化多模态大语言模型中幻觉的谱图框架
机器学习
2025-12-11 v4 人工智能
摘要
LLMs 中的幻觉——尤其是在多模态环境中——会损害可靠性。我们提出了一个基于扩散动力学的严格信息几何框架，用于量化多模态大语言模型（MLLMs）中的幻觉，其中模型输出通过多模态图拉普拉斯算子的谱分解进行嵌入，其与真实流形的差距定义了一个语义失真度量。我们推导了温度依赖的幻觉剖面上的 Courant-Fischer 界限，并使用 RKHS 特征模态获得模态感知的、可解释的度量，这些度量可以跟踪提示和时间的演变。这将幻觉重新定义为可量化且有界的，为评估和缓解提供了原则性基础。
引用
@article{arxiv.2508.19366,
title = {Grounding the Ungrounded: A Spectral-Graph Framework for Quantifying Hallucinations in Multimodal LLMs},
author = {Supratik Sarkar and Swagatam Das},
journal= {arXiv preprint arXiv:2508.19366},
year = {2025}
}
备注
49 pages, 3 figures, 3 tables