面向可靠测试时自适应的解耦原型学习

测试时自适应（TTA）是一项在推理过程中持续将预训练源模型适配到目标域的任务。一种流行的方法是根据估计的伪标签，使用交叉熵损失对模型进行微调。然而，其性能受到噪声伪标签的显著影响。本研究揭示了最小化每个样本的分类误差会导致交叉熵损失对标签噪声的脆弱性。为解决此问题，我们提出了一种新颖的解耦原型学习（DPL）方法，其特点是原型中心的损失计算。首先，我们解耦了类别原型的优化。对于每个类别原型，我们以对比的方式缩小其与正样本的距离，并扩大其与负样本的距离。此策略防止模型过拟合噪声伪标签。其次，我们提出了一种基于记忆的策略，以增强DPL对TTA中常见小批量大小的鲁棒性。我们以动量方式从记忆中更新每个类别的伪特征，并插入一个额外的DPL损失。最后，我们引入了一种基于一致性正则化的方法，以利用具有低置信度伪标签的样本。该方法将具有低置信度伪标签样本的特征风格迁移到具有高置信度伪标签的样本上。从而为TTA创建了更可靠的样本。实验结果表明，我们的方法在域泛化基准测试上达到了最先进的性能，并在图像损坏基准测试上可靠地提升了基于自训练方法的性能。代码将予以发布。