用于测试时域适应的视觉提示微调
计算机视觉与模式识别
2022-12-02 v2
摘要
模型应能在测试时适应未见数据，以避免真实部署场景中不可避免的分布偏移导致的性能下降。本工作中，我们解决实用但具挑战性的测试时适应（TTA）问题，即模型在不访问源数据的情况下适应目标域。我们提出一种称为\textit{数据高效提示微调}（DePT）的简易方案，包含两个关键要素。首先，DePT将视觉提示插入视觉Transformer，并在适应过程中仅微调这些源初始化的提示。我们发现此类参数高效微调能高效地将模型表示适应目标域，且不会过拟合于学习目标中的噪声。其次，DePT通过基于记忆库的在线伪标签将源表示引导至目标域。专为提示设计的分层自监督正则化被联合优化以缓解自训练中的误差累积。凭借少得多的可调参数，DePT不仅在主要适应基准VisDA-C、ImageNet-C和DomainNet-126上展示了最先进性能，还具有优越的数据效率，即仅用1%或10%数据适应而与100%数据相比性能下降不大。此外，DePT也可扩展至在线或多源TTA设置，具有通用性。
引用
@article{arxiv.2210.04831,
title = {Visual Prompt Tuning for Test-time Domain Adaptation},
author = {Yunhe Gao and Xingjian Shi and Yi Zhu and Hao Wang and Zhiqiang Tang and Xiong Zhou and Mu Li and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2210.04831},
year = {2022}
}