双向原型-奖励共演化用于视觉语言模型的测试时适应
计算机视觉与模式识别
2025-07-15 v2
摘要
测试时适应(TTA)在面对分布偏移时对于维持视觉语言模型(VLMs)的性能至关重要，特别是在源数据或目标标签不可获取的情况下。现有的TTA方法主要利用CLIP的输出概率分布进行特征评估，在域偏移下会产生偏差，导致因文本先验或错误的文本关联而误分类的特征。为了解决这些问题，我们提出了双向原型-奖励共演化(BPRE)，一种具有TTA功能的新型VLMs框架，通过协同反馈循环将特征质量评估与原型演化相结合。首先，设计了多维质量感知奖励模块(MQRM)来评估特征质量并精确引导原型细化。通过原型-奖励交互演化(PRIE)进行的原型质量的持续细化增强了计算的鲁棒性。通过这种双向交互，奖励精度和原型演化相互强化，形成自演化反馈循环。在15个多样化识别数据集上进行的广泛实验表明，我们的模型持续优于其他SOTA方法，并通过强调全面的特征评估推进了VLM泛化能力。
引用
@article{arxiv.2503.09394,
title = {Bidirectional Prototype-Reward co-Evolution for Test-Time Adaptation of Vision-Language Models},
author = {Xiaozhen Qiao and Peng Huang and Jiakang Yuan and Xianda Guo and Bowen Ye and Chaocan Xue and Ye Zheng and Zhe Sun and Xuelong Li},
journal= {arXiv preprint arXiv:2503.09394},
year = {2025}
}