面向域自适应语义分割的双层交互方法
计算机视觉与模式识别
2023-08-14 v2
摘要
自训练方法近期在域自适应语义分割中确立了地位，其利用目标域伪标签训练模型。现有进展已缓解了由域差异导致的噪声伪标签问题，但仍受困于语义分类器边界附近的错误伪标签。本文中，我们通过提出一种用于语义分割中域自适应的双层交互（DIDA）来解决该问题。具体而言，我们鼓励同一像素的不同增强视图不仅具有相似的类别预测（语义级），而且相对于其他像素具有相近的相似度关系（实例级）。由于为一个数据集保留所有像素实例的特征不可行，因此我们维护一个带动态更新策略的已标注实例库，以选择性存储实例的信息性特征。此外，DIDA 通过分散与聚集技术执行跨层交互，以重新生成更可靠的伪标签。我们的方法以显著优势超越 SOTA，尤其在易混淆与长尾类别上。代码见 \href{https://github.com/RainJamesY/DIDA}
引用
@article{arxiv.2307.07972,
title = {Dual-level Interaction for Domain Adaptive Semantic Segmentation},
author = {Dongyu Yao and Boheng Li},
journal= {arXiv preprint arXiv:2307.07972},
year = {2023}
}
备注
Accepted to ICCVW on Uncertainty Quantification for Computer Vision (UnCV), 2023