中文

4DR360:4D雷达-相机全场景感知中联合3D检测与占用预测的状态推理

计算机视觉与模式识别 2026-07-10 v1 人工智能

摘要

可靠的自动驾驶需要耦合前景物体与密集语义布局的全场景感知。近期,4D毫米波雷达已成为一种稳健且经济的传感器,但其稀疏回波使得雷达-相机融合对于全面的场景理解必不可少。现有的雷达-相机方法主要优化检测,而双任务系统通常以有限的交互解码框和占用。为解决这一差距并推进基于雷达的多任务学习,我们提出\method,一个用于360^\circ全场景感知的4D雷达-相机框架,它将语义占用建模为持久场景状态而非终端输出。\method{}遵循跨模态状态推理范式,其中占用状态被建模并通过阶段传播以进行从粗到细的特征聚合。具体来说,状态引导的BEV增强(SBE)增强了帧内BEV表示,而多普勒引导的时间融合(DTF)在更长的时间范围内保留状态证据。在模型之外,我们进一步用基于卫星地图生成的占用标签扩展ManTruckScenes,并将其与OmniHD-Scenes配对,形成统一的跨数据集检测与占用协议。由此产生的实验在统一的雷达-相机多任务评估框架下涵盖准确性、鲁棒性、消融和效率。代码和标签将在录用后发布。

关键词

引用

@article{arxiv.2607.09629,
  title  = {4DR360: State Reasoning for Joint 3D Detection and Occupancy Prediction in 4D Radar-Camera Full-Scene Perception},
  author = {Xiaokai Bai and Lianqing Zheng and Runwei Guan and Songkai Wang and Siyuan Cao and Hui-liang Shen},
  journal= {arXiv preprint arXiv:2607.09629},
  year   = {2026}
}

备注

5 pages, 8 figures