基于校准的双原型对比学习方法用于域泛化语义分割
计算机视觉与模式识别
2023-09-26 v1
摘要
原型对比学习（PCL）近来被广泛用于学习类级域不变特征。这些方法基于如下假设：以某一域中同类中心值表示的原型是域不变的。由于不同域的原型间也存在差异，PCL 从源域学到的类级域不变特征需同时与其他域的原型对齐。然而，不同域中同类的原型可能不同，而不同类的原型可能相似，这可能影响类级域不变特征的学习。基于这些观察，提出一种基于校准的双原型对比学习（CDPCL）方法，以减小所学类级特征与不同域原型间的域差异，用于域泛化语义分割。它包含不确定性引导的 PCL（UPCL）和硬加权 PCL（HPCL）。由于不同类原型的域差异可能不同，我们提出不确定性概率矩阵来表示所有类原型的域差异。UPCL 估计不确定性概率矩阵以在校准 PCL 期间原型的权重。此外，考虑到不同类的原型在某些情况下可能相似，即这些原型难以对齐，提出 HPCL 生成硬加权矩阵以在校准 PCL 期间难以对齐原型的权重。大量实验表明，我们的方法在域泛化语义分割任务上优于当前方法。
引用
@article{arxiv.2309.14282,
title = {Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation},
author = {Muxin Liao and Shishun Tian and Yuhang Zhang and Guoguang Hua and Wenbin Zou and Xia Li},
journal= {arXiv preprint arXiv:2309.14282},
year = {2023}
}
备注
Accepted by ACM MM'23