重新思考伪标签的精度：基于互补学习的测试时自适应
计算机视觉与模式识别
2024-05-01 v1
摘要
在这项工作中，我们提出了一种新颖的互补学习方法来增强测试时自适应 (TTA)，该方法已被证明在具有分布偏移（如损坏）的测试数据上表现出良好的性能。在测试时自适应任务中，来自源域的信息通常不可用，模型必须在无监督的情况下针对测试时样本进行优化。因此，通常的方法是在无监督学习框架中，使用训练良好的源模型的预测为未标注数据分配标签。以往的研究采用无监督目标（如模型预测的熵）作为优化目标，以有效地学习测试时样本的特征。然而，模型的性能很容易受到伪标签质量的影响，因为伪标签的不准确会给模型引入噪声。因此，我们提出利用“概率较小的类别”来降低错误伪标签的风险。引入互补标签来指定这些类别。我们强调，在传统的真实标签分布下，互补标签的风险函数与其 Vanilla 损失公式一致。实验表明，所提出的学习算法在不同的数据集和实验设置下均实现了 SOTA 性能。
引用
@article{arxiv.2301.06013,
title = {Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning},
author = {Jiayi Han and Longbin Zeng and Liang Du and Weiyang Ding and Jianfeng Feng},
journal= {arXiv preprint arXiv:2301.06013},
year = {2024}
}