黑盒视觉语言模型的测试时提示
计算机视觉与模式识别
2026-05-19 v1
摘要
测试时扩张（TTS）方法在大语言模型中效果显著，但在视觉语言模型（VLM）中的应用仍相对不足。现有的 VLM TTS 方法大多需要开放模型权重或昂贵的重复抽样，主要在多模态数学和科学推理基准上进行评估，而非泛化的视觉理解任务。本文提出了测试时提示（Test-Time Hinting）方法，通过单次 VLM 调用提升 VLM 性能，仅需黑盒 API 访问，因而可广泛应用于前沿封闭型模型。我们观察到 VLM 错误聚集于特定的重复失效模式，因此训练轻量级提示生成器模型，为给定测试输入预测应添加的"提示"，以提供针对性的上下文或程序性指导，引导 VLM 规避其典型失效模式。我们展示了测试时提示提升了多个封闭型 VLM 在自然图像 VQA 基准上的准确率，并且这些提升可推广至未见基准和 VLM，无需重新训练提示生成器。
引用
@article{arxiv.2605.16410,
title = {Test-Time Hinting for Black-Box Vision-Language Models},
author = {Kaihua Hou and Abhijith Varma Mudunuri and Jiaxing Qiu and Roxana Daneshjou and Thomas Hartvigsen and Ahmed Alaa},
journal= {arXiv preprint arXiv:2605.16410},
year = {2026}
}