基于黎曼流匹配的预训练视觉语言模型的认识不确定性量化
机器学习
2026-05-21 v2
摘要
视觉语言模型 (VLMs) 本质上是确定性的，缺乏内在机制来量化认识不确定性，这反映了模型对自身表示的缺乏了解或无知。我们从理论上动机化将嵌入的负对数密度作为认识不确定性的代理，其中低密度区域代表模型的无知。 proposed 方法 REPVLM 使用黎曼流匹配在 VLM 嵌入的超球面流形上计算概率密度。我们经验性地表明，REPVLM 在不确定性与预测误差之间的相关性几乎完美，且显著优于现有基线。除了分类任务，我们还展示该模型还提供了一个可扩展的无分布检测和自动数据精选度量。
引用
@article{arxiv.2601.21662,
title = {Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching},
author = {Li Ju and Mayank Nautiyal and Andreas Hellander and Ekta Vats and Prashant Singh},
journal= {arXiv preprint arXiv:2601.21662},
year = {2026}
}