用于全测试时适应的奇异值惩罚与语义数据增强
人工智能
2023-12-15 v1 计算机视觉与模式识别
摘要
全测试时适应（FTTA）在测试阶段将源域训练的模型适应到目标域，其中两个域遵循不同分布，且训练阶段源数据不可用。现有方法通常采用熵最小化来降低目标预测结果的不确定性，并相应提升FTTA性能。然而，它们未能确保目标预测结果的多样性。最近的域适应研究表明，最大化预测结果奇异值之和可以同时增强其置信度（可判别性）和多样性。然而，在训练阶段，较大的奇异值通常在损失最大化中占据主导地位。这导致模型更倾向于增强易区分类的可判别性，而多样性的提升效果不够充分。此外，FTTA中的适应和预测仅使用当前批次的数据，可能导致过拟合风险。为解决上述问题，我们提出最大化奇异值之和的同时最小化其方差。这使得模型关注较小的奇异值，增强更难区分类的可判别性，并有效增加预测结果的多样性。此外，我们引入前一批次的数据实现当前批次的语义数据增强，降低过拟合风险。在基准数据集上的大量实验表明，我们提出的方法优于一些比较的最先进FTTA方法。
引用
@article{arxiv.2312.08378,
title = {Singular Value Penalization and Semantic Data Augmentation for Fully Test-Time Adaptation},
author = {Houcheng Su and Daixian Liu and Mengzhu Wang and Wei Wang},
journal= {arXiv preprint arXiv:2312.08378},
year = {2023}
}
备注
10 pages, 5 figures,aaai2024(score:5422)