测试时适应与自监督模型的交互
计算机视觉与模式识别
2025-07-01 v1 机器学习
摘要
在源域上进行测试时数据训练可使深度学习模型适应动态环境变化，增强其实际应用性。虽然从源域到目标域的在线适应前景广阔，但仍高度依赖源预训练模型的性能。本文我们探讨测试时适应（TTA）方法是否能够在不依赖源预训练的情况下持续改进通过自监督学习（SSL）训练的模型。我们在观察到现有TTA方法在直接应用于自监督模型（在源域上准确率较低）时难以发挥作用后，提出一种自监督TTA协议。此外，我们提出一种协作学习框架，将SSL与TTA模型集成，利用对比学习和知识蒸馏进行分步表示细化。我们在DINO、MoCo和iBOT等多种自监督模型上进行验证，涵盖TTA基准测试。广泛实验表明，我们的方法在SSL领域有效，即使没有源预训练也能实现竞争性能。
引用
@article{arxiv.2506.23529,
title = {When Test-Time Adaptation Meets Self-Supervised Models},
author = {Jisu Han and Jihee Park and Dongyoon Han and Wonjun Hwang},
journal= {arXiv preprint arXiv:2506.23529},
year = {2025}
}
备注
15 pages, 7 figures