无标签新环境中的模型排序
计算机视觉与模式识别
2021-09-07 v2
摘要
考虑这样一个场景：我们获得了多个在特定源域上训练好的即用型模型，并希望根据模型的相对性能，将最合适的模型直接应用于不同的目标域。理想情况下，我们应该为每个新目标环境标注一个验证集以评估模型性能，但此类标注通常非常昂贵。在此情况下，我们引入了无标签新环境中的模型排序问题。针对此问题，我们提出采用代理数据集，该数据集 1) 被完全标注，且 2) 能很好地反映给定目标环境中模型的真实排序，并将代理集上的性能排序作为替代。我们首先选择已标注数据集作为代理。具体而言，我们发现与无标签目标域更相似的数据集能更好地保留相对性能排序。受此启发，我们进一步提出通过从具有与目标域相似分布的多个数据集中采样图像来搜索代理集。我们在行人重识别（re-ID）任务上分析了该问题及其解决方案，该任务有充足的公开数据集，结果表明，精心构建的代理集能有效捕捉新环境中的相对性能排序。代码可在 \url{https://github.com/sxzrt/Proxy-Set} 获取。
引用
@article{arxiv.2108.10310,
title = {Ranking Models in Unlabeled New Environments},
author = {Xiaoxiao Sun and Yunzhong Hou and Weijian Deng and Hongdong Li and Liang Zheng},
journal= {arXiv preprint arXiv:2108.10310},
year = {2021}
}
备注
13 pages, 10 figures, ICCV2021