Refign：对齐与精炼用于语义分割在恶劣条件下的自适应
计算机视觉与模式识别
2023-07-06 v3
摘要
由于在恶劣视觉条件下记录的图像中缺乏密集像素级语义标注，针对此类图像的语义分割的无监督域自适应（UDA）一直备受关注。UDA 将在正常条件下训练的模型自适应到目标恶劣条件域。同时，多个驾驶场景数据集提供了相同场景在多种条件下的对应图像，可作为域自适应的一种弱监督形式。我们提出 Refign，一种基于自训练 UDA 方法的通用扩展，利用这些跨域对应关系。Refign 包括两步：（1）使用不确定性感知的稠密匹配网络将正常条件图像对齐到对应的恶劣条件图像；（2）使用自适应标签修正机制以正常条件预测精炼恶劣条件预测。我们设计了定制模块以简化这两步，并在包括 ACDC 和 Dark Zurich 在内的多个恶劣条件基准上确立了域自适应语义分割的新 SOTA。该方法不引入额外训练参数、极小计算开销——仅训练时——并且可作为即插即用的扩展用于改进任何给定的基于自训练的 UDA 方法。代码见 https://github.com/brdav/refign。
引用
@article{arxiv.2207.06825,
title = {Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions},
author = {David Bruggemann and Christos Sakaridis and Prune Truong and Luc Van Gool},
journal= {arXiv preprint arXiv:2207.06825},
year = {2023}
}
备注
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023