先验知识引导的无监督域适应
机器学习
2022-07-20 v1 计算机视觉与模式识别
摘要
目标域中标签的缺失使得无监督域适应(UDA)在许多现实应用中成为一项颇具吸引力的技术,尽管这也带来了巨大挑战,因为在没有标记目标数据的情况下模型适应变得更加困难。本文通过从目标域先验知识中寻求补偿来解决此问题,这类知识在实践中往往(部分)可得,例如来自人类专家经验。这引出了一种新颖且实用的设定:除训练数据外,还提供一些关于目标类分布的先验知识。我们将该设定称为知识引导的无监督域适应(KUDA)。具体而言,我们考虑目标域中类分布的两种特定先验知识类型:描述单个类概率上下界的一元界(Unary Bound),以及描述两个类概率之间关系的二元关系(Binary Relationship)。我们提出一个通用校正模块,利用此类先验知识精炼模型生成的伪标签。该模块被表述为源自先验知识与平滑正则化项的0-1规划问题。它可轻松插入基于自训练的UDA方法中,我们将其与两种前沿方法 SHOT 和 DINE 结合。在四个基准上的实证结果证实,该校正模块明显提升了伪标签质量,进而有益于自训练阶段。在先验知识引导下,两种方法的性能均得到大幅增强。我们期望本研究能启发进一步关于在UDA中融合先验知识的探索。代码见 https://github.com/tsun/KUDA。
引用
@article{arxiv.2207.08877,
title = {Prior Knowledge Guided Unsupervised Domain Adaptation},
author = {Tao Sun and Cheng Lu and Haibin Ling},
journal= {arXiv preprint arXiv:2207.08877},
year = {2022}
}
备注
To appear in ECCV 2022