RopeBEV：基于鸟瞰视角的多摄像头路侧感知网络
计算机视觉与模式识别
2024-09-19 v1
摘要
鸟瞰视角（BEV）下的多摄像头感知方法在自动驾驶领域获得了广泛应用。然而，由于路侧场景与车侧场景的差异，目前缺乏针对路侧场景的多摄像头BEV解决方案。本文系统分析了路侧多摄像头BEV感知相对于车侧场景的关键挑战，包括摄像头姿态的多样性、摄像头数量的不确定性、感知区域的稀疏性以及方向角度的模糊性。为此，我们引入RopeBEV——首个稠密多摄像头BEV方法。RopeBEV引入BEV增强以解决因摄像头姿态多样性导致的训练平衡问题。通过融入CamMask和ROIMask（兴趣区域遮罩），支持可变摄像头数量和稀疏感知。最后，采用摄像头旋转嵌入来解决方向模糊性。我们的方法在真实世界高速公路数据集RoScenes上获得第1名，同时在覆盖超过50个交叉口和600台摄像头的私有城市数据集上Demonstrated了实际应用价值。
引用
@article{arxiv.2409.11706,
title = {RopeBEV: A Multi-Camera Roadside Perception Network in Bird's-Eye-View},
author = {Jinrang Jia and Guangqi Yi and Yifeng Shi},
journal= {arXiv preprint arXiv:2409.11706},
year = {2024}
}