RayFormer：基于射线中心策略的查询式多摄像头 3D 目标检测

近期查询式多摄像头 3D 目标检测的进展体现为在 3D 空间中初始化目标查询，然后从视点视图图像中采样特征以进行多轮查询细化。在此框架下，靠近同一摄像机射线的查询点很可能从非常接近的像素采样相似特征，导致查询特征模糊且检测精度下降。为此，我们引入 RayFormer，一种受摄像机射线启发的查询式 3D 目标检测器，将目标查询的初始化和特征提取与摄像机的光学特性对齐。具体而言，RayFormer 通过 lift-splat-shoot 方法将视点视图图像特征转换为鸟瞰图 (BEV)，并基于摄像机射线将 BEV 地图分割为sector。对象查询在每个摄像机射线上均匀稀疏初始化，促进不同查询在图像中投影到不同的区域以提取不同特征。此外，我们利用图像的实例信息来补充均匀初始化的目标查询，通过进一步引入沿射线的额外查询来自 2D 目标检测框。为提取适用于不同查询的唯一目标级特征，我们设计了一种射线采样方法，合理组织图像和鸟瞰图上特征采样点的分布。我们在 nuScenes 数据集上进行大量实验，以验证所提出的射线启发模型设计。所提出的 RayFormer 实现了 55.5% 的 mAP 和 63.3% 的 NDS 的卓越性能。