PanoOcc：面向基于相机的 3D 全景分割的统一占据表示
计算机视觉与模式识别
2023-06-19 v1 机器人学
摘要
对周围 3D 世界的全面建模是自动驾驶成功的关键。然而，现有的感知任务如目标检测、道路结构分割、深度与高程估计以及开放集目标定位各自仅关注整体 3D 场景理解任务的一小部分。这种分而治之的策略简化了算法开发流程，却丧失了端到端的统一解决方案。本文通过研究基于相机的 3D 全景分割来解决这一局限，旨在为仅使用相机的 3D 场景理解实现统一的占据表示。为此，我们提出一种称为 PanoOcc 的新方法，其利用体素查询以由粗到细的方式从多帧和多视角图像中聚合时空信息，将特征学习与场景表示集成到统一的占据表示中。我们进行了大量消融实验以验证所提方法的有效性和效率。我们的方法在 nuScenes 数据集上取得了基于相机的语义分割和全景分割的新最优结果。此外，我们的方法可轻松扩展到稠密占据预测，并在 Occ3D 基准上展现出有前景的性能。代码将发布于 https://github.com/Robertwyq/PanoOcc。
引用
@article{arxiv.2306.10013,
title = {PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation},
author = {Yuqi Wang and Yuntao Chen and Xingyu Liao and Lue Fan and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2306.10013},
year = {2023}
}
备注
technical report