变分连续测试时适应
机器学习
2025-12-18 v2 机器学习
摘要
连续测试时适应（CTTA）任务研究在测试期间连续域偏移场景下的有效域适应。由于仅使用无标签样本，模型更新中存在显著的不确定性，导致 CTTA 遇到严重的误差累积问题。在本文中，我们引入了 VCoTTA，一种用于度量 CTTA 中不确定性的变分贝叶斯方法。在源阶段，我们通过变分预热策略将预训练的确定性模型转换为贝叶斯神经网络（BNN），将不确定性注入模型中。在测试期间，我们对学生模型采用变分推理的平均教师更新策略，对教师模型采用指数移动平均。我们的新方法通过结合来自源模型和教师模型的先验来更新学生模型。证据下界被表述为学生模型与教师模型之间的交叉熵，以及先验混合的 Kullback-Leibler（KL）散度。在三个数据集上的实验结果证明了该方法在缓解 CTTA 框架内误差累积方面的有效性。
引用
@article{arxiv.2402.08182,
title = {Variational Continual Test-Time Adaptation},
author = {Fan Lyu and Kaile Du and Yuyang Li and Hanyu Zhao and Fuyuan Hu and Zhang Zhang and Guangcan Liu and Liang Wang},
journal= {arXiv preprint arXiv:2402.08182},
year = {2025}
}