面向灵活 3D 感知:基于对象的稀疏占据完成增强 3D 对象检测
计算机视觉与模式识别
2024-12-09 v1 人工智能
摘要
虽然 3D 对象边界框(bbox)表示在自动驾驶感知中广泛使用,但无法捕捉对象内在几何形状的精确细节。最近,占据率(occupancy)作为一种新兴的 3D 场景感知方法日益受到关注。然是,由于计算限制,构建大场景的高分辨率占据率图仍不可行。鉴于前景对象仅占据场景中一小部分,我们提出对象中心化占据率(object-centric occupancy)作为对象 bbox 的补充。该表示不仅为检测到的对象提供细致细节,还在实际应用中实现更高的体素分辨率。我们从数据与算法两个角度推动对象中心化占据率感知的发展。数据方面,我们构建了首个对象中心化占据率数据集,采用自动化管道。算法方面,我们引入一种新型对象中心化占据率完成网络,配备隐式形状解码器,管理动态大小的占据率生成。该网络通过利用长序列的时间信息,准确预测不准确对象提案的完整对象中心化占据率体积。我们的方法在噪声检测与跟踪条件下稳健地完成对象形状。此外,我们展示了占据率特征显著提升了最先进 3D 对象检测器的检测结果,尤其在 Waymo Open 数据集上对不完整或遥远对象的检测效果更佳。
引用
@article{arxiv.2412.05154,
title = {Towards Flexible 3D Perception: Object-Centric Occupancy Completion Augments 3D Object Detection},
author = {Chaoda Zheng and Feng Wang and Naiyan Wang and Shuguang Cui and Zhen Li},
journal= {arXiv preprint arXiv:2412.05154},
year = {2024}
}
备注
NeurIPS 2024