CoPT：基于域无关文本嵌入的无监督域适应分割

无监督域适应 (UDA) 涉及从源域中带标签的数据中学习类语义，以泛化到未见目标域。UDA 方法对于语义分割尤其有影响力，因为标注在图像分类中比在分割中更难收集。尽管近期在大规模视觉语言表示学习方面取得了进展，但针对分割的 UDA 方法尚未充分利用文本的域无关属性。为此，我们提出了一种新的基于协方差的像素-文本损失 CoPT，该方法使用域无关文本嵌入在图像分割编码器中学习域不变特征。文本嵌入通过我们的 LLM Domain Template process 生成，该过程使用 LLM 生成源域和目标域描述，然后输入到冻结的 CLIP 模型中进行组合。在四个基准测试中，我们展示了使用 CoPT 训练的模型在 UDA 分割上实现了新的最佳性能。代码可在 https://github.com/cfmata/CoPT 查看。