对 Stuff 与 Things 区别对待：一种用于语义分割的简单无监督域自适应方法

我们在本工作中通过缓解源域（合成数据）与目标域（真实数据）之间的域偏移，考虑语义分割的无监督域自适应问题。最先进的方法证明执行语义级对齐有助于解决域偏移问题。基于如下观察：stuff 类别在不同域的图像间通常具有相似外观，而 things（即物体实例）差异大得多，我们提出对 stuff 区域和 things 采用不同策略来改进语义级对齐：1）对于 stuff 类别，我们为每个类生成特征表示，并从目标域到源域执行对齐操作；2）对于 thing 类别，我们为每个个体实例生成特征表示，并鼓励目标域中的实例与源域中最相似的一个对齐。以此方式，thing 类别内的个体差异也将被考虑以缓解过度对齐。除我们提出的方法外，我们进一步揭示了当前对抗损失在最小化分布差异时常常不稳定的原因，并表明我们的方法可通过最小化源域与目标域间最相似的 stuff 和实例特征来帮助缓解该问题。我们在两个无监督域自适应任务（即 GTA5 到 Cityscapes 和 SYNTHIA 到 Cityscapes）上进行广泛实验，并达到了新的最先进分割精度。