通过适配 DINOv2 实现鲁棒的鸟瞰图分割
计算机视觉与模式识别
2024-09-17 v1
摘要
在自动驾驶中，从多相机图像中提取鸟瞰图（BEV）表示提供了一种替代基于 LIDAR 解决方案的高性价比、可扩展方案。然而，现有 BEV 方法在亮度与天气变化或相机故障等各种损坏条件下的性能显著下降。为了提高 BEV 感知的鲁棒性，我们提出使用低秩适配（LoRA）将大型视觉基础模型 DINOv2 适配至 BEV 估计。我们的方法建立在 DINOv2 强大的表示空间之上，通过在最先进的 SimpleBEV 框架中将其适配至 BEV 任务。实验表明，在各种损坏条件下 BEV 感知的鲁棒性有所提高，且随着模型规模和输入分辨率的扩大，性能增益也随之增加。我们还展示了适配后的表示在训练期间具有更少可学习参数和更快收敛速度的有效性。
引用
@article{arxiv.2409.10228,
title = {Robust Bird's Eye View Segmentation by Adapting DINOv2},
author = {Merve Rabia Barın and Görkay Aydemir and Fatma Güney},
journal= {arXiv preprint arXiv:2409.10228},
year = {2024}
}
备注
ECCV 2024 - 2nd Workshop on Vision-Centric Autonomous Driving (VCAD)