面向持续域适应的梯度正则化对比学习
计算机视觉与模式识别
2021-03-24 v1
摘要
人类能够通过利用学习经验快速适应环境变化。然而，通过机器学习算法使深度神经网络适应动态环境仍是一项挑战。为更好地理解该问题，我们研究持续域适应问题，其中模型给定一个有标签的源域和一系列无标签的目标域。该问题的障碍既包括域偏移也包括灾难性遗忘。我们提出梯度正则化对比学习（GRCL）以解决这些障碍。我们方法的核心中，梯度正则化发挥两个关键作用：（1）强制梯度不损害源特征的判别能力，这反过来有利于模型对目标域的适应能力；（2）约束梯度不增加在旧目标域上的分类损失，使模型在适应新到来目标域时能保持其在旧目标域上的性能。在 Digits、DomainNet 和 Office-Caltech 基准上的实验表明，与其他最先进方法相比，我们的方法具有强劲性能。
引用
@article{arxiv.2103.12294,
title = {Gradient Regularized Contrastive Learning for Continual Domain Adaptation},
author = {Shixiang Tang and Peng Su and Dapeng Chen and Wanli Ouyang},
journal= {arXiv preprint arXiv:2103.12294},
year = {2021}
}
备注
Accepted by AAAI2021 (poster). arXiv admin note: text overlap with arXiv:2007.12942