协同学习局部3D占用预测与通用全局占用映射
计算机视觉与模式识别
2026-03-06 v3 机器人学
摘要
基于视觉的3D语义占用预测是自动驾驶的关键，实现对静态基础设施和动态代理人的统一建模。全局占用地图作为长期记忆先验，提供有价值的历史背景，增强局部感知，尤其在遮挡或照明不良的困难场景中尤为重要，其中当前和相邻观察可能不可靠或不完整。来自较好条件下的先前遍历聚合的先验有助于填补空白，增强局部3D占用预测的鲁棒性。本文提出了长期记忆先验占用（LMPOcc），一个即插即用的框架，纳入全局占用先验以提升局部预测，同时更新全局地图以反映新观察。为实现全局先验带来的信息增益，我们设计了高效轻量的当前-先验融合模块，以自适应方式集成先验和当前特征。同时，我们引入一种模型无关的先验格式，以实现全局占用的持续更新，确保跨不同预测基线的兼容性。LMPOcc 在 Occ3D-nuScenes 基准上实现了当代局部占用预测性能，尤其在静态语义类别方面表现尤为突出。此外，我们验证了 LMPOcc 构建大规模全局占用地图通过多车联合的能力，并利用占用派生的稠密深度支持构建3D开放词汇地图。我们的方法开辟了持续全局信息更新与存储的新范式，为在大型户外环境中实现更全面和可扩展的场景理解之路。
引用
@article{arxiv.2504.13596,
title = {Collaborative Learning of Local 3D Occupancy Prediction and Versatile Global Occupancy Mapping},
author = {Shanshuai Yuan and Julong Wei and Muer Tie and Xiangyun Ren and Zhongxue Gan and Wenchao Ding},
journal= {arXiv preprint arXiv:2504.13596},
year = {2026}
}
备注
Accepted by ICRA 2026