部分域自适应方法的可复现且真实的评估
计算机视觉与模式识别
2022-10-05 v1 机器学习
机器学习
摘要
无监督域自适应（UDA）旨在利用有标签的源域图像对无标签的目标域图像进行分类。本工作中，我们考虑部分域自适应（PDA）变体，其中存在目标域中未出现的额外源域类别。大多数成功算法使用依赖于目标标签的模型选择策略，以在训练过程中找到最佳超参数和/或模型。然而，这些策略违背了 PDA 的主要假设：仅有无标签目标域样本可用。此外，实验设置中也存在不一致——架构、超参数调优、运行次数——导致不公平比较。本工作的主要目标是在一致的评估协议下，以不同模型选择策略对 PDA 方法进行真实评估。我们在 2 个不同真实世界数据集上，使用 7 种不同模型选择策略评估了 7 种代表性 PDA 算法。我们的两个主要发现是：（i）若无目标标签用于模型选择，方法准确率下降多达 30 个百分点；（ii）仅有一对方法与模型选择在两个数据集上均表现良好。实验使用我们的 PyTorch 框架 BenchmarkPDA 完成，我们已将其开源。
引用
@article{arxiv.2210.01210,
title = {A Reproducible and Realistic Evaluation of Partial Domain Adaptation Methods},
author = {Tiago Salvador and Kilian Fatras and Ioannis Mitliagkas and Adam Oberman},
journal= {arXiv preprint arXiv:2210.01210},
year = {2022}
}
备注
17 pages, 13 tables