基于类特定迁移的语义分割持续无监督域自适应

近年来，语义分割领域取得了巨大进展。然而，一个尚存的挑战是分割模型无法泛化到未见过域。为克服该问题，要么必须标注覆盖全部域多样性的大量数据（这在实际中往往不可行），要么应用仅需带标签源数据的无监督域自适应（UDA）。本工作中，我们聚焦 UDA，并进一步处理不仅自适应到单一域、而是自适应到一系列目标域的情形。这需要防止模型遗忘其先前所学知识的机制。为将分割模型自适应到目标域，我们遵循利用轻量级风格迁移将带标签源图像的风格转换为目标域风格、同时保留源内容的思路。为缓解源域与目标域间的分布偏移，第二步在迁移后的源图像上对模型进行微调。现有的依赖自适应实例归一化（AdaIN）或傅里叶变换的轻量级风格迁移方法仍缺乏性能，相较于颜色抖动等常见数据增强并无实质提升。其原因在于这些方法未关注区域或类特定的差异，而主要捕捉最显著的风格。因此，我们提出一个简单轻量级的框架，其包含两层类条件 AdaIN。为提取迁移层所需的类特定目标矩，我们使用未经过滤的伪标签，并证明其与真实标签相比是一种有效的近似。我们在合成序列上充分验证了我们的方法（CACE），并进一步提出一个由真实域构成的具有挑战性的序列。CACE 在视觉与定量上均优于现有方法。