小模型驱动大模型：跨模型协学习测试时适应
计算机视觉与模式识别
2025-07-15 v2 人工智能
摘要
测试时适应 (TTA) 通过在线无监督学习将模型适应到具有潜在 domain shift 的测试域数据，取得了令人印象深刻的性能。然而，迄今为止的现有 TTA 方法主要关注单模型适应。本文研究了一个颇具探究价值的问题：跨模型知识如何影响 TTA 过程？我们的发现表明，在 TTA 的无监督在线设置中，每个模型即使在 model size 上存在显著差异，仍能为其他模型提供互补且自信的知识。例如，一个较小的模型如 MobileViT (10.6M 参数) 能够有效指导一个较大的模型如 ViT-Base (86.6M 参数)。鉴于此，我们提出了 COCA，即面向 TTA 的 Cross-Model Co-Learning 框架，主要包含两个主要策略：1) 协同适应 (Co-adaptation) 通过在 TTA 过程中自适应地整合来自其他模型的互补知识，减少 individual model biases；2) 自适应 (Self-adaptation) 通过无监督学习提升每个模型的独特优势，实现对目标 domain 的多样化适应。大量实验表明，COCA 作为一个即插即用模块，可显著提升各种大小的现有 SOTA 方法的性能——包括 ResNet、ViT 和 Mobile-ViT——通过跨模型协学习的 TTA。例如，借助 Mobile-ViT 的指导，COCA 将 ViT-Base 在 ImageNet-C 上的平均适应准确率从 51.7% 提升至 64.5%。代码已公开于 https://github.com/ycarobot/COCA。
关键词
引用
@article{arxiv.2506.23724,
title = {When Small Guides Large: Cross-Model Co-Learning for Test-Time Adaptation},
author = {Chang'an Yi and Xiaohui Deng and Guohao Chen and Yan Zhou and Qinghua Lu and Shuaicheng Niu},
journal= {arXiv preprint arXiv:2506.23724},
year = {2025}
}
备注
15 pages, 5 figures