装点新来者：面向持续测试时自适应的视觉域提示
计算机视觉与模式识别
2023-02-14 v2
摘要
持续测试时自适应（CTTA）旨在无需访问源数据的情况下，将源模型自适应到持续变化的无标签目标域。现有方法主要以自训练方式聚焦于基于模型的适应，例如为新域数据集预测伪标签。由于伪标签含有噪声且不可靠，这些方法在处理动态数据分布时会遭遇灾难性遗忘和误差累积。受 NLP 中提示学习的启发，本文提出在冻结源模型参数的同时，为目标域学习图像级视觉域提示。在测试期间，变化的目标数据集可通过用学到的视觉提示重构输入数据来适应源模型。具体而言，我们设计了两类提示，即域特定提示和域无关提示，以在持续适应中提取当前域知识并维持域共享知识。此外，我们设计了一种基于稳态的提示适应策略，以抑制域不变提示中的域敏感参数，从而更有效地学习域共享知识。这种从模型依赖范式到无模型范式的转变使我们能够规避灾难性遗忘和误差累积问题。实验表明，我们提出的方法在四个广泛使用的基准（包括 CIFAR-10C、CIFAR-100C、ImageNet-C 和 VLCS 数据集）上相比最先进的方法取得了显著的性能提升。
引用
@article{arxiv.2212.04145,
title = {Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation},
author = {Yulu Gan and Yan Bai and Yihang Lou and Xianzheng Ma and Renrui Zhang and Nian Shi and Lin Luo},
journal= {arXiv preprint arXiv:2212.04145},
year = {2023}
}
备注
AAAI2023 Outstanding Student Paper Award