中文

AETTA:用于测试时适应的标签无偏差准确度估计

机器学习 2024-04-03 v1 人工智能 计算机视觉与模式识别

摘要

测试时适应(TTA)已成为一种可行的解决方案,通过使用无标签测试数据来适应域迁移。然而,TTA 面临着由于对未知测试样本的盲目适应,在动态场景中适应失败的挑战。传统方法的外分布性能估计在 TTA 语境下受到不现实假设的限制,例如需要标签数据或重新训练模型。为此,我们提出了 AETTA,一种用于 TTA 的标签无偏差准确度估计算法。我们提出将预测不一致作为准确度估计,通过比较目标模型预测与 dropout 推断的结果来计算。我们随后改进了预测不一致,以延扩展 AETTA 在适应失败情况下的适用性。我们通过四个基线和六种 TTA 方法进行了广泛评估,结果表明 AETTA 在准确度估计方面比基线方法平均提高了 19.8%p。我们进一步通过模型恢复案例研究展示了准确度估计的有效性,展示了基于准确度估计的模型恢复的实用性。源代码可在 https://github.com/taeckyung/AETTA 获取。

关键词

引用

@article{arxiv.2404.01351,
  title  = {AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation},
  author = {Taeckyung Lee and Sorn Chottananurak and Taesik Gong and Sung-Ju Lee},
  journal= {arXiv preprint arXiv:2404.01351},
  year   = {2024}
}

备注

Accepted to CVPR 2024