面向恶劣天气下自动驾驶的双对比端到端语义分割
计算机视觉与模式识别
2022-11-22 v1
摘要
道路场景理解任务近来对自动驾驶车辆至关重要。特别是，实时语义分割对于智能自动驾驶主体识别行驶区域内的路边物体不可或缺。由于先前的研究工作主要致力于通过计算量大的操作来提升分割性能，它们在训练和部署两方面都需要相当可观的硬件资源，因此不适合实时应用。为此，我们提出一种双对比方法，以提升更实用的轻量级自动驾驶模型在雾、夜间、雨和雪等恶劣天气条件下的性能。我们提出的方法在端到端监督学习框架中同时利用图像级和像素级对比，无需传统对比方法中用于全局一致性的记忆库或预训练步骤。我们使用 SwiftNet 在 ACDC 数据集上验证了方法的有效性，在单个 RTX 3080 Mobile GPU 上推理时（2048x1024 分辨率），其 mIoU 提升高达 1.34%p（ResNet-18 骨干网络），帧率达 66.7 FPS。此外，我们证明在使用清晰天气图像预训练时，以自监督替代图像级监督可取得相当的性能。
引用
@article{arxiv.2211.11131,
title = {Doubly Contrastive End-to-End Semantic Segmentation for Autonomous Driving under Adverse Weather},
author = {Jongoh Jeong and Jong-Hwan Kim},
journal= {arXiv preprint arXiv:2211.11131},
year = {2022}
}
备注
Accepted for publication at BMVC 2022