评估面向上下文与语义域偏移的持续测试时自适应
计算机视觉与模式识别
2023-03-14 v2 机器学习
摘要
在本文中，我们的目标是在测试时使预训练的卷积神经网络适应域偏移。我们在无标签的情况下，随着传入的测试批次流持续地进行自适应。现有文献主要在通过对测试图像进行对抗扰动获得的人工偏移上展开。受此启发，我们在两个真实且具挑战性的域偏移来源（即上下文偏移和语义偏移）上评估了当前最优方法。上下文偏移对应于环境类型，例如，在 CORe-50 上，预训练于室内上下文的模型必须适应室外上下文。语义偏移对应于捕获类型，例如在 DomainNet 上，预训练于自然图像的模型必须适应卡通画、草图和绘画。我们的分析包含了近期技术，如预测时批归一化（BN）、测试熵最小化（TENT）和持续测试时自适应（CoTTA）。我们的发现有三方面：i）与语义偏移相比，测试时自适应方法在上下文偏移上表现更好且遗忘更少；ii）TENT 在短期自适应上优于其他方法，而 CoTTA 在长期自适应上优于其他方法；iii）BN 最可靠且鲁棒。我们的代码可在 https://github.com/tommiekerssies/Evaluating-Continual-Test-Time-Adaptation-for-Contextual-and-Semantic-Domain-Shifts 获取。
引用
@article{arxiv.2208.08767,
title = {Evaluating Continual Test-Time Adaptation for Contextual and Semantic Domain Shifts},
author = {Tommie Kerssies and Mert Kılıçkaya and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2208.08767},
year = {2023}
}