低置信度样本对域自适应至关重要
计算机视觉与模式识别
2022-03-08 v2 机器学习
摘要
域自适应(DA)旨在将知识从标签丰富的源域迁移至相关但标签稀缺的目标域。传统的DA策略是对齐两域的特征分布。近来,越来越多研究聚焦于自训练或其他半监督算法以探索目标域的数据结构。然而,它们大多严重依赖置信度高的样本来构建可靠的伪标签、原型或聚类中心。以这种方式表征目标数据结构会忽略大量的低置信度样本,导致迁移性次优且偏向于与源域相似的样本。为克服该问题,我们提出一种通过处理低置信度样本的新型对比学习方法,鼓励模型在实例判别过程中利用目标数据结构。具体而言,我们仅使用低置信度样本构建正负样本对,随后用分类器权重而非直接利用原始特征来重新表征原特征,从而更好地编码任务特定的语义信息。此外,我们结合跨域混合(mixup)以增强所提出的对比损失。因此,通过跨域中间表示的对比学习可良好弥合域间差距。我们在无监督与半监督DA设定下评估所提方法,在基准上的大量实验结果表明我们的方法有效且达到了最先进的性能。代码见https://github.com/zhyx12/MixLRCo。
引用
@article{arxiv.2202.02802,
title = {Low-confidence Samples Matter for Domain Adaptation},
author = {Yixin Zhang and Junjie Li and Zilei Wang},
journal= {arXiv preprint arXiv:2202.02802},
year = {2022}
}
备注
11 pages, 5 figures; an outdated version that will be updated