OccProphet：基于观察者-预报者-精炼者框架的单摄像机4D占用预测效率提升
计算机视觉与模式识别
2025-02-24 v1 机器人学
摘要
预测复杂交通环境的变化对于自动驾驶的安全至关重要。最近的占用预测进展使能够通过观察历史2D图像来预测驾驶环境中未来3D占用状态。然而，高计算需求使得占用预测在训练和推理阶段效率较低，限制了其在边缘设备上的部署。本文提出了一种新框架，即OccProphet，通过显著降低计算要求实现高效和有效的占用预测。OccProphet由三个轻量级组件组成：观察者、预报者和精炼者。观察者使用提出的Efficient 4D Aggregation with Tripling-Attention Fusion从3D多帧体素中提取时空特征，而预报者和精炼者则条件性地预测和精炼未来占用推断。在nuScenes、Lyft-Level5和nuScenes-Occupancy数据集上的实验结果表明，OccProphet在训练和推理方面都具有友好的特性。OccProphet相较于最先进的Cam4DOcc在计算成本上降低了58%~78%，实现了2.6倍的加速，同时实现了4%~18%的相对更高预测准确性。代码和模型已公开提供于https://github.com/JLChen-C/OccProphet。
引用
@article{arxiv.2502.15180,
title = {OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework},
author = {Junliang Chen and Huaiyuan Xu and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2502.15180},
year = {2025}
}
备注
Accepted by ICLR2025