OccupancyDETR：使用 DETR 进行混合稠密-稀疏 3D 占据预测
机器人学
2024-05-21 v3 计算机视觉与模式识别
摘要
基于视觉的 3D 语义占据感知是包括自动驾驶车辆在内的机器人关键技术，通过 3D 方式增强对环境的理解。然而，该方法通常比 BEV 或 2D 方法需要更多计算资源。我们提出一种新颖的 3D 语义占据感知方法 OccupancyDETR，其利用类 DETR 的目标检测，即一种混合稠密-稀疏 3D 占据解码器。我们的方法区分场景中的前景与背景。首先，使用类 DETR 的目标检测检测前景物体。随后，前景与背景物体的查询被送入混合稠密-稀疏 3D 占据解码器，分别通过稠密与稀疏方法执行上采样。最后，利用 MaskFormer 推断背景体素的语义。我们的方法在效率与精度间取得平衡，实现更快的推理时间、更低的资源消耗以及改进的小物体检测性能。我们在 SemanticKITTI 数据集上展示了所提方法的有效性，展现出 14 的 mIoU 与 10 FPS 的处理速度，从而为实现实时 3D 语义占据感知提供了一种有前景的方案。
引用
@article{arxiv.2309.08504,
title = {OccupancyDETR: Using DETR for Mixed Dense-sparse 3D Occupancy Prediction},
author = {Yupeng Jia and Jie He and Runze Chen and Fang Zhao and Haiyong Luo},
journal= {arXiv preprint arXiv:2309.08504},
year = {2024}
}