HARMONY：视觉语言模型的隐藏激活表示与模型输出感知不确定性估计
摘要
不确定性估计 (UE) 在量化模型输出可靠性和通过选择性预测减少不安全生成方面发挥着核心作用。就此而言，大多数现有基于概率的 UE 方法依赖于预定义函数，将 token 概率聚合为单个 UE 分数，常使用长度规范化等启发式方法。然而，这些方法往往难以捕获生成 token 之间复杂的关系，并 struggle to identify biased probabilities 常受语言先验影响。另一类研究使用模型的隐藏表示并训练简单的 MLP 架构来预测不确定性。然而，这类函数往往丢失了复杂的 token 间依赖关系。虽然先前工作表明隐藏表示编码了多模态对齐信号，但我们的工作表明，这些信号的处理方式对 UE 性能具有显著影响。为有效利用这些信号识别 token 间依赖关系并进行视觉-文本对齐，我们提出了 HARMONY (Hidden Activation Representations and Model Output-Aware Uncertainty Estimation for Vision-Language Models)，一个新的 UE 框架，通过合适的输入映射设计和合适的架构选择，将生成的 token ('text')、模型在输出上的不确定性得分 ('MaxProb') 以及其对图像理解和生成 token 内部信念（由 'hidden representations' 捕获）在 token 级别进行整合。我们的实验在两个开放式 VQA 基准测试 (A-OKVQA 和 VizWiz) 和四个最先进的视觉语言模型 (LLaVA-7B、LLaVA-13B、InstructBLIP 和 Qwen-VL) 上表明，HARMONY 在一致性上匹配或超越现有方法，在 AUROC 上提升最高可达 5%，在 PRR 上提升最高可达 9%。
引用
@article{arxiv.2510.22171,
title = {HARMONY: Hidden Activation Representations and Model Output-Aware Uncertainty Estimation for Vision-Language Models},
author = {Erum Mushtaq and Zalan Fabian and Yavuz Faruk Bakman and Anil Ramakrishna and Mahdi Soltanolkotabi and Salman Avestimehr},
journal= {arXiv preprint arXiv:2510.22171},
year = {2025}
}