SAM4UDASS：当 SAM 遇到智能车辆中的无监督域自适应语义分割

语义分割在使智能车辆理解其周围环境中发挥着关键作用。然而，由于缺乏用于训练的标注数据，基于深度学习的方法在域偏移场景下通常表现不佳。无监督域自适应（UDA）技术应运而生，以弥合不同驾驶场景之间的差距并提升模型在无标签目标环境上的性能。尽管自训练 UDA 方法已取得 SOTA 结果，但生成精确伪标签的挑战依然存在。这些伪标签往往偏向多数类，从而牺牲了交通信号灯和标志等稀有类或小目标的性能。为应对这一挑战，我们引入了 SAM4UDASS，这是一种将 Segment Anything Model（SAM）融入自训练 UDA 方法以精炼伪标签的新方法。它包含语义引导掩码标注，即利用 UDA 伪标签为无标签的 SAM 掩码分配语义标签。此外，我们设计了融合策略，旨在缓解 SAM 掩码与目标域之间的语义粒度不一致问题。SAM4UDASS 创新地将 SAM 与 UDA 集成用于驾驶场景的语义分割，并无缝补充了现有的自训练 UDA 方法。在合成到真实以及正常到恶劣驾驶数据集上的大量实验证明了其有效性。在使用 DAFormer 时，它在 GTA5-to-Cityscapes、SYNTHIA-to-Cityscapes 和 Cityscapes-to-ACDC 上带来了超过 3% 的 mIoU 提升，并在使用 MIC 时达到了 SOTA。代码将在 https://github.com/ywher/SAM4UDASS 提供。