基于结构约束正则化自训练的无监督域适应方法
计算机视觉与模式识别
2023-05-02 v1
摘要
基于伪标签的自训练已成为解决语义分割问题中无监督域适应（UDA）条件分布偏移的主流方法。然而，一个显著缺陷是此类方法易受源于源域确认偏差并在目标域表现为干扰因素的伪标签错误影响。造成这种不匹配的可能原因是仅依赖RGB图像输入提供的光度线索，这最终可能导致次优适应。为减轻伪标签不匹配的影响，我们提出引入来自深度等辅助模态的结构线索，以正则化常规自训练目标。具体而言，我们引入对比式像素级目标性约束，将同一目标实例区域内像素表示拉近，同时将不同目标类别的像素表示推远。为获得与真实底层目标一致的目标区域，我们以多模态聚类形式从深度图与RGB图像中提取信息。关键在于，该目标性约束对真实语义标签无关，因而适用于无监督域适应。本工作中，我们表明所提正则化器在多项语义分割UDA基准上显著改进了顶尖自训练方法（提升达 个点）。所有代码见补充材料。
引用
@article{arxiv.2305.00131,
title = {Regularizing Self-training for Unsupervised Domain Adaptation via Structural Constraints},
author = {Rajshekhar Das and Jonathan Francis and Sanket Vaibhav Mehta and Jean Oh and Emma Strubell and Jose Moura},
journal= {arXiv preprint arXiv:2305.00131},
year = {2023}
}