基准测试自动驾驶全景分割的鲁棒性
计算机视觉与模式识别
2024-02-26 v1
摘要
辅助驾驶和自动驾驶（AAD）功能的安全决策需要精确的情境感知能力。全景分割是一种有前景的感知技术，可在像素级别识别和分类物体、潜在危险及可行驶空间。虽然分割质量通常与相机数据质量相关，但对于 AAD 系统设计者而言，全面理解并建模这种关系至关重要。受此需求驱动，本工作提出了一种统一的流程来评估 AAD 全景分割模型的鲁棒性，并将其与传统图像质量相关联。所提流程的第一步是生成反映现实世界噪声因素的退化相机数据。为此，我们识别并实现了 19 种噪声因素，每种因素设有 3 个严重程度等级。在这些因素中，本工作提出了针对不利光照和降雪的新型模型。应用退化模型后，使用了三种基于 CNN 和视觉 Transformer (ViT) 的最先进全景分割网络来分析其鲁棒性。随后，将分割性能的变化与 8 种选定的图像质量指标进行关联。本研究揭示：1) 某些特定噪声因素对全景分割影响最大，即镜头上的水滴和高斯噪声；2) 基于 ViT 的全景分割主干网络对所考虑的噪声因素表现出更好的鲁棒性；3) 某些图像质量指标（即 LPIPS 和 CW-SSIM）与全景分割性能 strongly 相关，因此可用作网络性能的预测指标。
引用
@article{arxiv.2402.15469,
title = {Benchmarking the Robustness of Panoptic Segmentation for Automated Driving},
author = {Yiting Wang and Haonan Zhao and Daniel Gummadi and Mehrdad Dianati and Kurt Debattista and Valentina Donzella},
journal= {arXiv preprint arXiv:2402.15469},
year = {2024}
}