少即是多：伪标签过滤器用于持续测试时适应
机器学习
2024-07-15 v2 人工智能
摘要
持续测试时适应(CTTA)旨在在测试阶段且不访问源数据的情况下，对预训练模型适配一序列未知目标域。为适应来自未知域的无标签数据，现有方法依赖构建所有样本的伪标签并通过自训练更新模型。然而，这些伪标签常包含噪声，导致适应不足。为提升伪标签质量，我们提出一种名为伪标签过滤器(PLF)的CTTA伪标签选择方法。PLF的核心思想是不断选择合适的伪标签阈值，以识别用于自训练的可靠标签。具体而言，我们提出了三个关于持续域学习中阈值设置的原则，包括初始化、增长和多样性。基于这些原则，我们设计了自适应阈值化，以过滤伪标签。此外，我们引入类别先验对齐(CPA)方法，以鼓励模型对未知域样本作出多样化预测。通过大量实验，PLF在CTTA任务中超越当前最先进方法，证明其有效性。
引用
@article{arxiv.2406.02609,
title = {Less is More: Pseudo-Label Filtering for Continual Test-Time Adaptation},
author = {Jiayao Tan and Fan Lyu and Chenggong Ni and Tingliang Feng and Fuyuan Hu and Zhang Zhang and Shaochuang Zhao and Liang Wang},
journal= {arXiv preprint arXiv:2406.02609},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2310.03335 by other authors