语义分割的开放集域适应

无监督域适应 (UDA) 用于语义分割旨在将带标签源域的像素级知识传递到无标签目标域。然而，当前 UDA 方法通常假设源域和目标域共享标签空间，限制了其在现实场景中的应用——此时目标域可能包含新出现的类别。本文首次提出语义分割的开放集域适应 (OSDA-SS)，其中目标域包含未知类别。我们确定 OSDA-SS 场景存在两个主要问题：1) 现有 UDA 方法难以准确预测未知类别的边界；2) 它们无法准确预测未知类别的形状。为解决这些问题，我们提出 Boundary and Unknown Shape-Aware open-set domain adaptation，称为 BUS。我们的 BUS 可通过 novel dilation-erosion-based contrastive loss 以对比方式准确区分已知类别与未知类别之间的边界。此外，我们提出 OpenReMix 一种新的域混合数据增强方法，引导模型有效学习域相关性和尺度不变特征，以改善对已知与未知类别形状的检测。通过大量实验，我们展示 BUS 在挑战性的 OSDA-SS 场景中显著优于先前方法。代码已公开于 https://github.com/KHU-AGI/BUS。