面向单位超球面的非对称不确定性结构的预训练视觉语言模型
机器学习
2025-09-29 v2
摘要
视觉语言模型（VLMs）作为基础模型在广泛的视觉和文本任务中显著提升了性能，无需从头大规模训练即可适用于下游任务。然而，这些确定性 VLMs 无法捕捉自然语言和视觉数据中固有的歧义性与不确定性。最近的概率后处理方法通过将确定性嵌入映射到概率分布来解决此问题，但现有方法未考虑文本与视觉模态的非对称不确定性结构，以及有意义的确定性嵌入位于单位超球面上的约束，可能导致次优性能。本文针对文本与视觉数据固有的非对称不确定性结构，提出 AsymVLM 在单位超球面上构建概率嵌入，实现不确定性量化。我们在既定基准测试上验证了概率嵌入的有效性，并通过详尽的消融实验展示了文本与视觉数据不确定性结构中固有非对称性的事实。
引用
@article{arxiv.2505.11029,
title = {Exploiting the Asymmetric Uncertainty Structure of Pre-trained VLMs on the Unit Hypersphere},
author = {Li Ju and Max Andersson and Stina Fredriksson and Edward Glöckner and Andreas Hellander and Ekta Vats and Prashant Singh},
journal= {arXiv preprint arXiv:2505.11029},
year = {2025}
}