一种用于终身测试时自适应的概率框架

测试时自适应（TTA）是指在推理时，给定来自不同目标域的测试输入，更新预训练源模型的问题。大多数现有 TTA 方法假设目标域是平稳的，即所有测试输入都来自单个目标域。然而，在许多实际设置中，测试输入分布可能随时间表现出终身/持续的变化。此外，现有 TTA 方法也缺乏提供可靠不确定性估计的能力，这在源域和目标域之间发生分布偏移时至关重要。为了解决这些问题，我们提出了 PETAL（Probabilistic lifElong Test-time Adaptation with seLf-training prior），它使用概率方法解决终身 TTA，并自然地产生了（1）一个学生-教师框架，其中教师模型是学生模型的指数移动平均，以及（2）在推理时使用源模型作为正则化器来正则化模型更新。为了防止在终身/持续 TTA 设置中的模型漂移，我们还提出了一种数据驱动的参数恢复技术，该技术通过仅恢复不相关的参数，有助于减少误差累积并保持对近期域的知识。在预测错误率以及基于不确定性的指标（如 Brier 分数和负对数似然）方面，我们的方法在 CIFAR-10C、CIFAR-100C、ImageNetC 和 ImageNet3DCC 数据集等各种基准测试中，均取得了优于当前最先进的在线终身测试时自适应方法的结果。我们方法的源代码可在 https://github.com/dhanajitb/petal 获取。