基于预训练与一致性的极简半监督域适应方法
计算机视觉与模式识别
2021-11-30 v3 机器学习
摘要
大多数现代无监督域适应(UDA)方法根植于域对齐,即学习对齐源域与目标域特征,以利用源域标签学习目标域分类器。在半监督域适应(SSDA)中,当学习器可获取少量目标域标签时,已有方法遵循 UDA 理论使用域对齐进行学习。我们表明 SSDA 的情况有所不同,无需对齐即可学习到良好的目标分类器。我们使用自监督预训练(通过旋转预测)与一致性正则化来获得分离良好的目标簇,从而辅助学习低误差的目标分类器。借助我们的预训练与一致性(PAC)方法,我们在该半监督域适应任务上取得了最先进的目标精度,在多个数据集上超越多种对抗域对齐方法。PAC 虽使用简单技术,却在 DomainNet 和 Visda-17 等大规模且具有挑战性的 SSDA 基准上表现极为出色,常以可观的差距优于近期最先进水平。我们的实验代码可在 https://github.com/venkatesh-saligrama/PAC 找到。
引用
@article{arxiv.2101.12727,
title = {Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency},
author = {Samarth Mishra and Kate Saenko and Venkatesh Saligrama},
journal= {arXiv preprint arXiv:2101.12727},
year = {2021}
}
备注
Accepted to BMVC 2021