用于测试时训练的 Mixup

测试时训练（test-time training）提供了一种解决域偏移（domain shift）问题的新途径。在其框架中，在训练阶段与测试阶段之间插入一个测试时训练阶段。在测试时训练阶段，通常用测试样本更新部分模型。随后更新后的模型将用于测试阶段。然而，利用测试样本进行测试时训练存在一些局限。首先，它会导致对测试时过程的过拟合，从而损害主任务上的性能。此外，更新部分模型而不改变其他部分会引发不匹配问题。因此难以在主任务上取得更好表现。为缓解上述问题，我们提出在测试时训练中使用 mixup（MixTTT），其控制模型参数的变化并完成测试时过程。我们从理论上展示了其作为测试时训练的特定正则化效应，在缓解主任务中更新部分与静态部分不匹配问题上的作用。MixTTT 可作为通用测试时训练方法的附加模块以进一步提升其性能。实验结果展示了我们方法的有效性。