DaF-BEVSeg: 基于畸变感知鱼眼相机的鸟瞰图分割与遮挡推理
计算机视觉与模式识别
2024-04-10 v1 机器人学
摘要
语义分割是进行场景理解的有效方式。最近，3D鸟瞰图（BEV）空间中的分割变得流行，因为它直接用于驾驶策略。然而，对于商用车辆中常用的环视鱼眼相机，BEV分割的工作有限。由于该任务没有真实世界的公共数据集，且现有的合成数据集不处理因遮挡导致的非模态区域，我们使用Cognata模拟器创建了一个包含多种道路类型、天气和光照条件的合成数据集。我们将BEV分割泛化到适用于任何相机模型；这对于混合不同相机很有用。我们通过应用圆柱校正对鱼眼图像进行预处理，并使用基于LSS的标准BEV分割模型实现了一个基线。我们证明，在不进行去畸变的情况下可以实现更好的性能，而去畸变会带来预处理增加运行时间、视场减小和重采样伪影等不利影响。此外，我们引入了一种畸变感知的可学习BEV池化策略，该策略对鱼眼相机更有效。我们扩展了模型，加入了一个遮挡推理模块，这对于在BEV空间中进行估计至关重要。DaF-BEVSeg的定性性能在视频中展示，网址为https://streamable.com/ge4v51。
引用
@article{arxiv.2404.06352,
title = {DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning},
author = {Senthil Yogamani and David Unger and Venkatraman Narayanan and Varun Ravi Kumar},
journal= {arXiv preprint arXiv:2404.06352},
year = {2024}
}