Focal-PETR：聚焦前景以实现高效多相机3D目标检测
计算机视觉与模式识别
2022-12-14 v2
摘要
主流的多相机3D检测范式基于显式的3D特征构建，需要通过3D到2D投影对局部图像视角特征进行复杂索引。其他方法隐式地引入几何位置编码并执行全局注意力（如PETR）以建立图像令牌与3D对象之间的关系。3D到2D视角的不一致性和全局注意力导致前景令牌与查询之间的相关性较弱，从而造成收敛缓慢。我们提出Focal-PETR，通过实例引导监督和空间对齐模块使对象查询自适应地聚焦于有判别力的前景区域。Focal-PETR额外引入了下采样策略以降低全局注意力的消耗。得益于高度并行化的实现和下采样策略，我们的模型无需深度监督，在大规模nuScenes基准上取得了领先性能，并在单块RTX3090 GPU上实现了30 FPS的优越速度。大量实验表明，我们的方法优于PETR，同时训练耗时减少3倍。代码将公开可用。
引用
@article{arxiv.2212.05505,
title = {Focal-PETR: Embracing Foreground for Efficient Multi-Camera 3D Object Detection},
author = {Shihao Wang and Xiaohui Jiang and Ying Li},
journal= {arXiv preprint arXiv:2212.05505},
year = {2022}
}
备注
Tech Report