面向鸟瞰图分割中的视点鲁棒性
计算机视觉与模式识别
2023-09-12 v1
摘要
自动驾驶车辆（AV）若要在多种车型上部署而无需为每种车型重复进行数据采集与标注，则要求用于感知的神经网络对不同视点具有鲁棒性。由于成本原因，AV公司通常侧重于从多样场景与地点采集数据，而非相机支架配置。因此，大多数车队中仅存在少量支架变体。本文研究AV感知模型如何受相机视点变化的影响，并提出一种无需重复数据采集与标注即可跨车型扩展模型的方法。以鸟瞰图（BEV）分割为驱动任务，我们通过大量实验发现，现有感知模型对相机视点变化出奇地敏感。当使用某一相机支架的数据训练时，推理时相机俯仰、偏航、深度或高度的微小变化会导致性能大幅下降。我们引入一种新视点合成技术，并用其将已采集数据变换至目标支架的视点，从而无需任何额外数据采集或标注成本即可为多样目标支架训练BEV分割模型。为分析视点变化的影响，我们利用合成数据来缓解其他差距（内容、ISP等）。我们的方法随后在真实数据上训练并在合成数据上评估，从而实现对多样目标支架的评估。我们发布所有数据以供未来工作使用。我们的方法能够恢复部署到新支架时原本损失的IoU平均达14.7%。
引用
@article{arxiv.2309.05192,
title = {Towards Viewpoint Robustness in Bird's Eye View Segmentation},
author = {Tzofi Klinghoffer and Jonah Philion and Wenzheng Chen and Or Litany and Zan Gojcic and Jungseock Joo and Ramesh Raskar and Sanja Fidler and Jose M. Alvarez},
journal= {arXiv preprint arXiv:2309.05192},
year = {2023}
}
备注
ICCV 2023. Project Page: https://nvlabs.github.io/viewpoint-robustness