模型自适应：无源数据无监督域自适应的历史对比学习
计算机视觉与模式识别
2022-06-07 v6
摘要
无监督域自适应旨在对齐有标签的源域与无标签的目标域，但其需要访问源数据，这常常引发数据隐私、数据可移植性与数据传输效率方面的担忧。我们研究无监督模型自适应（UMA），或称无源数据无监督域自适应，这是一种旨在不访问源数据的情况下将源训练模型适配到目标分布的替代设定。为此，我们设计了一种创新的历史对比学习（HCL）技术，利用历史源假设来弥补 UMA 中源数据的缺失。HCL 从两个角度解决 UMA 挑战。首先，它引入历史对比实例判别（HCID），通过对比由当前适配模型与历史模型生成的目标样本嵌入来进行学习。借助历史模型，HCID 鼓励 UMA 学习具实例判别性的目标表示，同时保留源假设。其次，它引入历史对比类别判别（HCCD），对目标样本进行伪标注以学习具类别判别性的目标表示。具体而言，HCCD 根据当前与历史模型间预测一致性对伪标签重新加权。大量实验表明，HCL 在各种视觉任务与设定下持续优于最先进方法。
引用
@article{arxiv.2110.03374,
title = {Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data},
author = {Jiaxing Huang and Dayan Guan and Aoran Xiao and Shijian Lu},
journal= {arXiv preprint arXiv:2110.03374},
year = {2022}
}
备注
Accepted to Advances in Neural Information Processing Systems 34 (NeurIPS 2021)