CrossRay3D：基于几何结构与分布引导的高效多模态三维检测
计算机视觉与模式识别
2025-11-05 v3
摘要
稀疏跨模态检测器相较于鸟瞰视图（BEV）检测器，在下游任务的适应性和计算成本节省方面具有更多优势。然而，现有稀疏检测器忽略了令牌表示的质量，导致前景质量 suboptimal 且性能受限。本文识别到几何结构保存情况和类别分布是提升稀疏检测器性能的关键因素，提出了稀疏选择器（Sparse Selector, SS）。SS 的核心模块是射线感知监督（Ray-Aware Supervision, RAS），在训练阶段保留丰富的几何信息；以及类别平衡监督（Class-Balanced Supervision），自适应重加权类别语义的显著性，确保与小目标相关的令牌在采样时被保留。由此，CrossRay3D 在令牌表示上超越了其他稀疏多模态检测器。此外，我们设计了射线位置编码（Ray Positional Encoding, Ray PE）以解决激光雷达模态与图像之间的分布差异。最终，我们将上述模块集成到一个端到端稀疏多模态检测器中，命名为 CrossRay3D。实验表明，在具有挑战性的 nuScenes 数据集上，CrossRay3D 达到最先进的性能，mAP 为 72.4，NDS 为 74.7，运行速度比其他领先方法快 1.84 倍。此外，CrossRay3D 在激光雷达或摄像头数据部分或完全缺失的场景中也表现出强大的鲁棒性。
引用
@article{arxiv.2510.15991,
title = {CrossRay3D: Geometry and Distribution Guidance for Efficient Multimodal 3D Detection},
author = {Huiming Yang and Wenzhuo Liu and Yicheng Qiao and Lei Yang and Xianzhu Zeng and Li Wang and Zhiwei Li and Zijian Zeng and Zhiying Jiang and Huaping Liu and Kunfeng Wang},
journal= {arXiv preprint arXiv:2510.15991},
year = {2025}
}
备注
13 pages