面向基于视觉的3D占用预测的轻量级空间嵌入
计算机视觉与模式识别
2024-12-10 v1
摘要
占用预测近年来因其全面细粒度的环境表示能力以及对开放集目标的强泛化能力而受到广泛关注。然而，繁冗的体素特征和3D卷积操作不可避免地在内存和计算方面引入巨大的开销，阻碍了占用预测方法在实时自动驾驶系统中的部署。虽然一些方法试图通过通道到高度机制从2D鸟瞰图(BEV)特征高效预测3D占用，但BEV特征不足以存储场景中所有的高度信息，这限制了性能。本文提出LightOcc，一种创新的3D占用预测框架，利用轻量级空间嵌入有效补充BEV基于表示中对高度线索的需求，同时保持其可部署性。首先，使用全局空间抽样获取来自多视图深度分布的单通道占用。随后，空间到通道机制将单通道占用的任意空间维度作为特征维度，通过2D卷积提取三视角视图(TPV)嵌入。最后，TPV嵌入通过轻量级TPV交互模块相互作用，以获得最佳地对BEV特征的补充空间嵌入。充分的实验结果表明，LightOcc显著提高了基线的预测准确率，在Occ3D-nuScenes基准上实现了最先进的性能。
引用
@article{arxiv.2412.05976,
title = {Lightweight Spatial Embedding for Vision-based 3D Occupancy Prediction},
author = {Jinqing Zhang and Yanan Zhang and Qingjie Liu and Yunhong Wang},
journal= {arXiv preprint arXiv:2412.05976},
year = {2024}
}