通过权重集成、多样性加权与先验校正的通用测试时自适应
计算机视觉与模式识别
2023-10-27 v2 机器学习
摘要
由于分布偏移可能在测试时发生时序出现并大幅降低模型性能，在线测试时自适应（TTA）在部署后利用当前测试数据持续更新模型。显然，为在线TTA提出的方法必须在各类环境条件下均表现良好。通过引入域非平稳性和时间相关性这两个可变因素，我们首先展开所有实际相关的设置，并将该实体定义为通用TTA。我们想强调，这是首项涵盖如此广泛谱带的工作，而这在实际应用中不可或缺。为应对通用TTA问题，我们识别并强调了基于自训练的方法必须应对的几项挑战：1）在对具有或不具有多次域偏移的变长序列执行熵最小化时出现的模型偏置与平凡解；2）泛化能力丧失，加剧了向多次域偏移的自适应以及灾难性遗忘的出现；3）由类先验偏移引起的性能退化。为防止模型产生偏置，我们利用了与数据集和模型无关的不确定性及多样性加权。为保持泛化并防止灾难性遗忘，我们提出持续对源模型与自适应模型进行权重平均。为补偿测试时类先验的不均衡，我们提出一种自适应先验校正方案，对模型预测进行重加权。我们在广泛的设置、数据集与模型上评估了名为ROID的方法，在通用TTA领域树立了新标准。代码见：https://github.com/mariodoebler/test-time-adaptation
引用
@article{arxiv.2306.00650,
title = {Universal Test-time Adaptation through Weight Ensembling, Diversity Weighting, and Prior Correction},
author = {Robert A. Marsden and Mario Döbler and Bin Yang},
journal= {arXiv preprint arXiv:2306.00650},
year = {2023}
}
备注
Accepted at WACV 2024