概率对比学习用于域适应
计算机视觉与模式识别
2024-06-11 v6
摘要
对比学习在自监督方式下增强各种视觉任务的特征判别性方面取得了显著成功，但标准对比范式（特征+ℓ2归一化）在应用于域适应时收益有限。我们发现这主要是因为域适应优化过程中忽略了类权重（最终全连接层的权重），这使得特征难以围绕相应的类权重聚类。为了解决这个问题，我们提出了简单而强大的概率对比学习（PCL），它通过移除ℓ2归一化并用概率替换特征，超越了标准范式。PCL可以引导概率分布趋向于独热配置，从而最小化特征与类权重之间的差异。我们进行了大量实验来验证PCL的有效性，并在五个任务上观察到一致的性能提升，即无监督/半监督域适应（UDA/SSDA）、半监督学习（SSL）、UDA检测和语义分割。值得注意的是，在SYNTHIA上的UDA语义分割中，PCL以更低的训练成本（PCL: 1*3090, 5天 vs. CPSL-D: 4*V100, 11天）在平均IoU上超过了复杂的CPSL-D超过2%。代码可在https://github.com/ljjcoder/Probabilistic-Contrastive-Learning获取。
引用
@article{arxiv.2111.06021,
title = {Probabilistic Contrastive Learning for Domain Adaptation},
author = {Junjie Li and Yixin Zhang and Zilei Wang and Saihui Hou and Keyu Tu and Man Zhang},
journal= {arXiv preprint arXiv:2111.06021},
year = {2024}
}
备注
Accept by IJCAI2024