我们能否在无目标域标签的情况下评估域适应模型？
计算机视觉与模式识别
2024-02-20 v3
摘要
无监督域适应（UDA）旨在将在一个有标签的源域上训练的模型迁移到一个无标签的目标域。然而，在真实场景中，目标域标签的缺失使得评估 UDA 模型的性能变得困难。此外，依赖对抗训练和自训练的现有 UDA 方法可能导致模型退化与负迁移，进一步加剧了评估问题。本文提出一种称为 Transfer Score（迁移分数）的新指标来解决这些问题。所提指标通过模型参数评估分类器的空间均匀性，以及深度表征的可迁移性与可判别性，从而实现 UDA 模型的无监督评估。基于该指标，我们在无目标域标签的情况下实现了三个新目标：（1）从一系列可用选项中选择最佳的 UDA 方法；（2）优化 UDA 模型的超参数以防止模型退化；（3）识别 UDA 模型的哪个检查点性能最优。我们的工作弥合了数据级 UDA 研究与实用 UDA 场景之间的差距，使 UDA 模型性能的现实评估成为可能。我们通过对不同规模和类别不平衡分布的 UDA 数据集进行大量实证研究，验证了该指标的有效性。结果表明，我们的指标稳健地实现了上述目标。
引用
@article{arxiv.2305.18712,
title = {Can We Evaluate Domain Adaptation Models Without Target-Domain Labels?},
author = {Jianfei Yang and Hanjie Qian and Yuecong Xu and Kai Wang and Lihua Xie},
journal= {arXiv preprint arXiv:2305.18712},
year = {2024}
}
备注
To be published at ICLR 2024, update formula and appendix, project and code available at https://sleepyseal.github.io/TransferScoreWeb/