用于持续模型自适应的测试时蒸馏
计算机视觉与模式识别
2026-05-01 v3
摘要
深度神经网络在部署时常常因分布偏移而性能下降。持续测试时适应旨在以无监督方式解决这一问题。然而,依赖自监督的现有方法容易陷入固有的自指反馈循环,从而放大初始预测误差并导致模型漂移。我们重新审视了这一局限性,并提出测试时蒸馏,将适应重构为由冻结的视觉语言模型作为外部信号引导的蒸馏过程。尽管前景广阔,我们发现直接蒸馏存在两个陷阱:(1) 通才陷阱,即 VLM 广泛但非专业的知识导致在特定任务和偏移上表现不佳;以及 (2) 熵偏置,即基于熵的朴素模型融合技术因异构模型校准的差异而失效。这些陷阱凸显了构建稳健监督信号并利用其引导目标模型实现稳定适应的必要性。因此,我们提出了 CoDiRe,一个用于 TTD 的持续蒸馏与校正框架。CoDiRe 首先通过动态融合 VLM 和目标模型的预测来构建稳健的混合教师模型。关键在于,它利用最大 Softmax 概率作为更可靠的置信度度量来加权每个模型的专业能力,从而规避了熵偏置。随后,它应用基于最优传输的校正以进一步将预测与混合教师模型对齐,实现持续且稳定的适应。大量实验表明,CoDiRe 超越了最先进的基线,在 ImageNet-C 上较 CoTTA 提升了 10.55%,且仅花费其 48% 的时间成本。项目主页公开于 https://github.com/walawalagoose/TTD。
引用
@article{arxiv.2506.02671,
title = {Test-Time Distillation for Continual Model Adaptation},
author = {Xiao Chen and Jiazhen Huang and Zhiming Liu and Qinting Jiang and Fanding Huang and Jingyan Jiang and Zhi Wang},
journal= {arXiv preprint arXiv:2506.02671},
year = {2026}
}
备注
Accepted by CVPR 2026 Findings