改善夜间或低照度城市驾驶场景的全景分割

自动驾驶车辆与驾驶系统将场景解析作为理解周边环境的重要工具。全景分割是一项最先进技术，在此用例中被证明至关重要。近年来，基于深度学习的架构已用于有效且高效的全景分割。然而，在暗场景低照度或夜间图像等不利条件下，现有方法相较白天图像表现糟糕。导致不佳结果的主要因素之一是缺乏充足且精确标注的城市驾驶场景夜间图像。本工作中，我们提出两种新方法，第一种用于提升性能，第二种利用域翻译方法提升夜间或低照度城市驾驶场景全景分割的鲁棒性。所提方法利用CycleGAN（Zhu et al., 2017）将带有现有全景标注的白天图像翻译为夜间图像，随后用于重新训练全景分割模型，以提升在低照度与夜间条件下的性能与鲁棒性。实验中，方法1在转换的Cityscapes数据集上展现出全景分割性能的显著提升，PQ绝对增益超+10%，RQ超+12%，SQ超+2%，mIoU超+14%，AP50超+10%。方法2展现出对多变夜间驾驶环境的改进鲁棒性。两种方法的支撑来自全面的定量与定性分析。