面向开放集测试时自适应：利用熵最小化中的群体智慧
计算机视觉与模式识别
2023-09-06 v2
摘要
测试时自适应（TTA）方法通常依赖模型的预测（例如熵最小化）将源预训练模型适配到无标签目标域，但会受到源于1）错误预测或2）开放集预测的噪声信号影响。长期的稳定适配受此类噪声信号阻碍，因此训练无此类误差累积的模型对实用TTA至关重要。为解决包括开放集TTA在内的这些问题，我们提出一种简单而有效的样本选择方法，其灵感来自以下关键经验发现。虽然熵最小化迫使模型提高其预测标签的概率（即置信度值），但我们发现噪声样本反而表现出置信度值下降。更具体地说，熵最小化试图提升单个样本预测的置信度值，但由于来自众多其他预测信号（即群体智慧）的影响，单个置信度值可能上升或下降。由于这一事实，与此类“群体智慧”不对齐的噪声信号（通常在正确信号中发现）尽管试图提高错误样本的个体置信度值，却未能成功。基于这些发现，我们过滤掉在适配模型中置信度值低于原始模型的样本，因为它们很可能是噪声。我们的方法广泛适用于现有TTA方法，并提升了它们在图像分类（例如使用TENT错误率降低49.4%）和语义分割（例如使用TENT的mIoU提升11.7%）中的长期适配性能。
引用
@article{arxiv.2308.06879,
title = {Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in Entropy Minimization},
author = {Jungsoo Lee and Debasmit Das and Jaegul Choo and Sungha Choi},
journal= {arXiv preprint arXiv:2308.06879},
year = {2023}
}
备注
Accepted to ICCV 2023