ViDA:用于持续测试时适应的稳态视觉域适配器
计算机视觉与模式识别
2024-03-28 v3
摘要
由于现实世界的机器系统运行在非平稳环境中,持续测试时适应(CTTA)任务被提出以将预训练模型适配到持续变化的目标域。近来,现有方法主要关注基于模型的适应,旨在利用自训练方式提取目标域知识。然而,伪标签可能存在噪声,且更新后的模型参数在动态数据分布下不可靠,导致持续适应过程中的错误累积和灾难性遗忘。为应对这些挑战并保持模型可塑性,我们为CTTA设计了一种视觉域适配器(ViDA),显式处理域特定和域共享知识。具体而言,我们首先全面探索了具有可训练高秩或低秩嵌入空间的适配器的不同域表示。然后将ViDA注入预训练模型,其利用高秩和低秩特征分别适配当前域分布和维持持续域共享知识。为更有效地利用低秩和高秩ViDA,我们进一步提出稳态知识分配(HKA)策略,自适应地组合来自每个ViDA的不同知识。在四个广泛使用的基准上进行的广泛实验表明,我们所提方法在分类和分割CTTA任务中均达到了最先进性能。值得注意的是,我们的方法可视为大规模模型的一种新颖迁移范式,在适应持续变化分布方面取得了有前景的结果。项目页面:https://sites.google.com/view/iclr2024-vida/home。
引用
@article{arxiv.2306.04344,
title = {ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation},
author = {Jiaming Liu and Senqiao Yang and Peidong Jia and Renrui Zhang and Ming Lu and Yandong Guo and Wei Xue and Shanghang Zhang},
journal= {arXiv preprint arXiv:2306.04344},
year = {2024}
}
备注
Accepted by ICLR2024