语义连通性驱动的伪标签用于跨域分割
计算机视觉与模式识别
2023-12-12 v1
摘要
当前，自训练是跨域语义分割中的主流方法，通过使用被赋予可靠伪标签的像素进行训练来提升模型效能。然而，我们发现该范式存在两个关键局限。（1）大多数可靠像素呈现斑点状模式，且主要位于中心语义区域。这给模型准确学习语义带来了挑战。（2）斑点像素中的类别噪声难以定位和纠正，导致自训练中的误差累积。为解决这些局限，我们提出了一种名为语义连通性驱动伪标签（SeCo）的新方法。该方法在连通性层面构建伪标签，从而有助于学习结构化且低噪声的语义。具体而言，SeCo 包含两个关键组件：像素语义聚合（PSA）和语义连通性纠正（SCC）。首先，PSA 将语义划分为“stuff”和“things”类别，并通过与 Segment Anything Model（SAM）的高效交互，将斑点状伪标签聚合成语义连通性。这不仅使我们能够获得精确的边界，还简化了噪声定位。随后，SCC 引入一个简单的连通性分类任务，能够在损失分布的引导下定位并纠正连通性噪声。大量实验表明，SeCo 可灵活应用于各种跨域语义分割任务，包括传统的无监督、无源和黑盒域自适应，显著提升了现有最先进方法的性能。代码可在 https://github.com/DZhaoXd/SeCo 获取。
引用
@article{arxiv.2312.06331,
title = {Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation},
author = {Dong Zhao and Ruizhi Yang and Shuang Wang and Qi Zang and Yang Hu and Licheng Jiao and Nicu Sebe and Zhun Zhong},
journal= {arXiv preprint arXiv:2312.06331},
year = {2023}
}