中文

UniMix:面向恶劣天气下 LiDAR 语义分割的领域自适应与泛化

计算机视觉与模式识别 2024-04-09 v1

摘要

LiDAR 语义分割 (LSS) 是自动驾驶中的一项关键任务,并已取得了可喜的进展。然而,以往的 LSS 方法通常在晴朗天气下的同领域数据集上进行研究和评估。LSS 模型在未见场景和全天候条件下的鲁棒性,对于确保实际应用中的安全性和可靠性至关重要。为此,我们提出了 UniMix,这是一种增强 LSS 模型自适应性和泛化能力的通用方法。UniMix 首先利用物理上有效的恶劣天气模拟构建一个桥接域,用于弥合晴朗天气场景与恶劣天气场景之间的领域差异。然后,针对空间、强度和语义分布定义了一个通用混合算子,通过混合来自给定域的样本创建中间域。将提出的两项技术整合到师生框架中,UniMix 有效地缓解了领域差异,使 LSS 模型能够学习天气鲁棒且领域不变的表示。我们将 UniMix 应用于两种主要设置:1) 无监督领域自适应,将模型从晴朗天气源域适应到恶劣天气目标域;2) 领域泛化,学习一个能良好泛化到恶劣天气下未见场景的模型。大量实验验证了 UniMix 在不同任务和数据集上的有效性,在所有任务和数据集上均取得了优于 SOTA 方法的性能。代码将开源。

关键词

引用

@article{arxiv.2404.05145,
  title  = {UniMix: Towards Domain Adaptive and Generalizable LiDAR Semantic Segmentation in Adverse Weather},
  author = {Haimei Zhao and Jing Zhang and Zhuo Chen and Shanshan Zhao and Dacheng Tao},
  journal= {arXiv preprint arXiv:2404.05145},
  year   = {2024}
}

备注

Accepted by CVPR 2024