面向无监督域自适应夜间语义分割的动态与小目标细化
计算机视觉与模式识别
2024-03-15 v2 人工智能
摘要
夜间语义分割在自动驾驶等实际应用中起着至关重要的作用，常常因光照不足和缺乏良好标注的数据集而遇到困难。此外，在白天数据集上训练的语义分割模型往往难以有效泛化到夜间条件。无监督域自适应（UDA）已展现出应对这些挑战的潜力，并在夜间语义分割上取得了显著成果。然而，现有方法仍存在以下局限：1）依赖风格迁移或补光模型，难以泛化到复杂夜间环境；2）忽视车辆和杆体等动态与小目标，这类目标难以直接从其他域学习。本文提出一种新颖的 UDA 方法，针对夜间语义分割中的动态与小目标在标签和特征层面进行细化。首先，我们提出动态与小目标细化模块，将源域中动态与小目标的知识补充到目标夜间域；这些动态与小目标在欠曝光条件下通常具有上下文不一致性。然后，我们设计特征原型对齐模块，通过在不同域同类特征与原型之间部署对比学习来缩小域差距，同时对动态与小目标类别重新加权。在三个基准数据集上的大量实验表明，我们的方法在夜间分割上大幅优于先前方法。项目页面：https://rorisis.github.io/DSRNSS/。
引用
@article{arxiv.2310.04747,
title = {Towards Dynamic and Small Objects Refinement for Unsupervised Domain Adaptative Nighttime Semantic Segmentation},
author = {Jingyi Pan and Sihang Li and Yucheng Chen and Jinjing Zhu and Lin Wang},
journal= {arXiv preprint arXiv:2310.04747},
year = {2024}
}