通过语义分割训练期间的图像增强提升自动驾驶车辆在恶劣天气下的感知能力

鲁棒的感知能力对自动驾驶车辆的导航与定位至关重要。视觉处理任务（如语义分割）应能在不同天气条件和不同时间段下正常工作。语义分割是为每个像素分配类别，有助于定位整体特征。训练分割模型需要大量数据，而分割数据的标注过程尤其繁琐。此外，许多大型数据集仅包含在晴朗天气下拍摄的图像。这是一个问题，因为仅用晴朗天气数据训练模型会削弱在雾或雨等恶劣天气条件下的性能。我们假设，给定一个仅包含晴朗天气图像的数据集，在训练期间应用图像增强（如随机降雨、雾和亮度变化），可以实现对多样天气条件的域适应。我们使用CARLA——一个三维真实感自动驾驶车辆模拟器——在晴朗天气下收集了1200张图像，涵盖来自10个不同城镇的29个类别。我们还收集了1200张随机天气效果的图像。我们训练了编码器-解码器UNet模型来执行语义分割。应用增强显著改善了恶劣天气夜间条件下的分割性能（p < 0.001）。然而，在所有条件下，除晴朗天气外，基于天气数据训练的模型的损失显著低于基于增强数据训练的模型。这表明域适应方法仍有改进空间。未来工作应测试更多类型的增强，并使用真实图像而非CARLA图像。理想情况下，增强模型的性能应达到或超过天气模型。