面向持续域自适应的梯度正则化对比学习
计算机视觉与模式识别
2020-07-28 v1 机器学习
摘要
人类能够通过利用学习经验快速适应环境变化。然而，适应动态环境的能力差仍然是人工智能模型面临的一个主要挑战。为了更好地理解这个问题，我们研究了持续域自适应问题，其中模型被给定一个带标签的源域和一系列无标签的目标域。该问题存在两个主要障碍：域偏移和灾难性遗忘。在这项工作中，我们提出了梯度正则化对比学习来解决上述障碍。在我们方法的核心，梯度正则化扮演两个关键角色：（1）强制对比损失的梯度不增加源域上的监督训练损失，从而保持所学特征的判别能力；（2）正则化新域上的梯度更新，使其不增加旧目标域上的分类损失，这使模型能够适应传入的目标域，同时保持先前观察到的域的性能。因此，我们的方法可以利用带标签的源域和无标签的目标域，联合学习语义判别性和域不变的特征。在Digits、DomainNet和Office-Caltech基准数据集上的实验表明，与最先进方法相比，我们的方法表现出强大的性能。
引用
@article{arxiv.2007.12942,
title = {Gradient Regularized Contrastive Learning for Continual Domain Adaptation},
author = {Peng Su and Shixiang Tang and Peng Gao and Di Qiu and Ni Zhao and Xiaogang Wang},
journal= {arXiv preprint arXiv:2007.12942},
year = {2020}
}