FastOcc：通过融合 2D 鸟瞰图与透视视图加速 3D 占据预测
计算机视觉与模式识别
2024-03-06 v1 机器人学
摘要
在自动驾驶中，3D 占据预测输出体素级的状态和语义标签，相比 3D 物体检测和鸟瞰图（BEV）语义分割等传统感知任务，能提供更全面的 3D 场景理解。最近的研究者广泛探索了该任务的各个方面，包括视图变换技术、真值标签生成和精细的网络设计，旨在实现卓越性能。然而，对于在自动驾驶车辆上运行至关重要的推理速度却被忽视了。为此，我们提出了一种名为 FastOcc 的新方法。通过仔细分析输入图像分辨率、图像骨干网络、视图变换和占据预测头这四个部分的网络效应和延迟，我们发现占据预测头在保持精度的同时具有巨大的模型加速潜力。针对改进该组件，我们将耗时的 3D 卷积网络替换为一种新颖的残差类架构，其中特征主要由轻量级 2D BEV 卷积网络处理，并通过整合从原始图像特征插值得到的 3D 体素特征进行补偿。在 Occ3D-nuScenes 基准上的实验表明，我们的 FastOcc 以快速的推理速度实现了最先进的结果。
引用
@article{arxiv.2403.02710,
title = {FastOcc: Accelerating 3D Occupancy Prediction by Fusing the 2D Bird's-Eye View and Perspective View},
author = {Jiawei Hou and Xiaoyan Li and Wenhao Guan and Gang Zhang and Di Feng and Yuheng Du and Xiangyang Xue and Jian Pu},
journal= {arXiv preprint arXiv:2403.02710},
year = {2024}
}
备注
Accepted by ICRA 2024