ProtoOcc：基于双分支编码器-原型查询解码器的高精度、高效3D占用预测
摘要
本文介绍了ProtoOcc，这是一个用于预测3D体素占用状态和语义类别的新型3D占用预测模型，通过对场景进行深层语义理解。ProtoOcc包含两个主要组件：双分支编码器（Dual Branch Encoder, DBE）和原型查询解码器（Prototype Query Decoder, PQD）。DBE通过双分支结构将3D体素表示与BEV表示在多个尺度上进行组合，产生新的3D体素表示。这种设计通过为BEV表示提供较大的感受野，同时保持体素表示的较小感受野，既提升了性能又提高了计算效率。PQD引入原型查询以加速解码过程。从输入样本的3D体素特征中推导出场景自适应原型（Scene-Adaptive Prototypes），而场景无关原型（Scene-Agnostic Prototypes）则通过将场景自适应原型应用于指数移动平均（Exponential Moving Average）在训练阶段计算得到。通过使用基于原型的查询进行解码，我们可以直接以单步预测3D占用，无需迭代式Transformer解码。此外，我们提出了稳健原型学习（Robust Prototype Learning），该方法在原型生成过程中注入噪声，并训练模型在训练阶段进行去噪。ProtoOcc在Occ3D-nuScenes基准测试上实现了45.02%的mIoU。对于单帧方法，它在NVIDIA RTX 3090上实现了39.56%的mIoU，推理速度达到12.83 FPS。我们的代码可在https://github.com/SPA-junghokim/ProtoOcc查看。
引用
@article{arxiv.2412.08774,
title = {ProtoOcc: Accurate, Efficient 3D Occupancy Prediction Using Dual Branch Encoder-Prototype Query Decoder},
author = {Jungho Kim and Changwon Kang and Dongyoung Lee and Sehwan Choi and Jun Won Choi},
journal= {arXiv preprint arXiv:2412.08774},
year = {2025}
}
备注
Accepted to AAAI Conference on Artificial Intelligence 2025, 15 pages, 9 figures