用于域适应的循环自训练方法
机器学习
2021-11-01 v3 计算机视觉与模式识别
摘要
无监督域适应（UDA）的主流方法通过学习域不变表示来缩小域偏移。近来，自训练在 UDA 中日益受到关注，其利用目标伪标签训练来挖掘未标记目标数据。然而，如本文所证实，在 UDA 的分布偏移下，伪标签可能因与目标真实标签差异较大而不可靠。为此，我们提出循环自训练（CST），一种显式强制伪标签跨域泛化的原则性自训练算法。CST 在正向步骤与反向步骤间循环直至收敛。在正向步骤中，CST 用源训练分类器生成目标伪标签。在反向步骤中，CST 用目标伪标签训练目标分类器，然后更新共享表示使目标分类器在源数据上表现良好。我们引入 Tsallis 熵作为置信友好正则化以提升目标伪标签质量。我们在现实假设下对 CST 进行理论分析，并给出 CST 能恢复目标真实标签而不变特征学习与朴素自训练均失败的困难情形。实验结果表明，CST 在视觉识别与情感分析基准上显著优于现有最优方法。
引用
@article{arxiv.2103.03571,
title = {Cycle Self-Training for Domain Adaptation},
author = {Hong Liu and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2103.03571},
year = {2021}
}