利用软伪标签与课程学习提升无监督域自适应
计算机视觉与模式识别
2021-12-06 v1 机器学习
摘要
通过利用来自完全标注源域的数据,无监督域自适应(UDA)借助显式的数据分布差异最小化或对抗学习,提升在未标注目标域上的分类性能。作为增强,在自适应过程中引入类别对齐,利用模型预测强化目标特征判别性。然而,关于目标域上错误类别预测导致的伪标签不准确,以及源域过拟合引起的分布偏差,仍存在未解决的问题。本文提出一种模型无关的两阶段学习框架,利用软伪标签策略大幅减少有缺陷的模型预测,并通过课程学习策略避免源域过拟合。理论上,它成功降低了目标域上期望误差上界中的联合风险。第一阶段,我们用基于分布对齐的UDA方法训练模型,以较高置信度获取目标域的软语义标签。为避免源域过拟合,第二阶段我们提出课程学习策略,自适应控制两域损失的权重,使训练阶段的焦点随目标域预测置信度提升而从源分布逐步转向目标分布。在两个知名基准数据集上的大量实验验证了所提框架在提升顶级UDA算法性能上的普遍有效性,并展示了其持续优越的性能。
引用
@article{arxiv.2112.01948,
title = {Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning},
author = {Shengjia Zhang and Tiancheng Lin and Yi Xu},
journal= {arXiv preprint arXiv:2112.01948},
year = {2021}
}
备注
28 pages