SCAP:基于支持性 clique 的属性提示的转导测试时适应
计算机视觉与模式识别
2025-03-18 v1
摘要
视觉语言模型(VLM)在数据分布变化导致的域迁移情境下面临适应性挑战。测试时适应(TTA)已成为增强VLM在此类条件下性能的有前景方法。实际情况下,测试数据常以批处理形式到达,使转导 TTA 设定受到广泛关注。然而,现有 TTA 方法主要聚焦于单个测试样本,忽略了批次内部关键的跨样本关联。虽然近期基于 ViT 的 TTA 方法引入了批级适应,但由于未充分融合文本模态,对 VLM 仍不够理想。为此,我们提出一种新型转导 TTA 框架——支持性 clique 基于属性提示(SCAP),通过在测试批次中生成细粒度属性提示,有效整合视觉与文本信息以提升适应性。SCAP 首先基于视觉相似性以无监督方式形成支持性 clique,并为每个 clique 学习属性提示,捕获关键共享属性以实现适应。对于每个测试样本,SCAP 汇聚其关联 clique 的属性提示,提供更丰富的上下文信息。为保证适应性随时间演化,我们引入保留模块,动态更新属性提示及其关联属性。多项基准实验表明,SCAP 超越当前最先进方法,显著提升了 VLM 在域迁移下的泛化能力。我们的代码已公开于 https://github.com/zhoujiahuan1991/CVPR2025-SCAP。
引用
@article{arxiv.2503.12866,
title = {SCAP: Transductive Test-Time Adaptation via Supportive Clique-based Attribute Prompting},
author = {Chenyu Zhang and Kunlun Xu and Zichen Liu and Yuxin Peng and Jiahuan Zhou},
journal= {arXiv preprint arXiv:2503.12866},
year = {2025}
}
备注
Accepted by CVPR 2025