基于布朗距离协方差的免训练测试时自适应视觉语言模型
计算机视觉与模式识别
2026-02-02 v1 机器学习
摘要
视觉语言模型在领域偏移下性能下降，限制了其实际应用。现有的测试时自适应方法计算量大，依赖反向传播，并且通常关注单一模态。为了解决这些问题，我们提出了基于布朗距离协方差的免训练测试时自适应(TaTa)。TaTa利用布朗距离协方差——一种通过成对距离捕捉线性和非线性依赖关系的强大统计度量——来动态地将VLM适应到新领域，无需训练或反向传播。这不仅提高了效率，还通过避免破坏性的权重更新增强了稳定性。TaTa进一步集成了属性增强提示，以利用描述性视觉线索改进视觉语言推理。结合动态聚类和伪标签精炼，它有效地为新的视觉上下文重新校准模型。跨多个数据集的实验表明，TaTa在显著降低计算成本的同时，在领域和跨数据集泛化方面实现了最先进的性能。
引用
@article{arxiv.2601.23253,
title = {Training-Free Test-Time Adaptation with Brownian Distance Covariance in Vision-Language Models},
author = {Yi Zhang and Chun-Wun Cheng and Angelica I. Aviles-Rivero and Zhihai He and Liang-Jie Zhang},
journal= {arXiv preprint arXiv:2601.23253},
year = {2026}
}
备注
Accepted in ICASSP 2026