基于时空记忆的占用率学习
计算机视觉与模式识别
2025-08-07 v1
摘要
3D 占用率成为自动驾驶中建模周围环境的 promising 感知表示，能够在细粒度尺度上处理环境。然而，由于高处理成本以及体素的不确定性和动态性，跨多个输入帧高效地对3D占用率进行时间聚合仍然具有挑战性。为此，我们提出了 ST-Occ，一个面向占用率表示学习的 scene-level 框架，有效地学习具有时序一致性的时空特征。ST-Occ 包含两个核心设计：一个能够通过 scene-level 表示高效捕获并存储历史信息的时空记忆，以及一种能够在不确定性和动态感知模型下，将当前占用率表示条件化于时空记忆的记忆注意力机制。我们的方法显著增强了用于3D占用率预测任务的时空表示，利用多帧输入之间的时序依赖性。实验表明，我们的方法在state-of-the-art 方法上取得约 3 个 mIoU 的提升，并将时序不一致性降低了 29%。
引用
@article{arxiv.2508.04705,
title = {Occupancy Learning with Spatiotemporal Memory},
author = {Ziyang Leng and Jiawei Yang and Wenlong Yi and Bolei Zhou},
journal= {arXiv preprint arXiv:2508.04705},
year = {2025}
}
备注
Accepted to ICCV2025. Project website: https://matthew-leng.github.io/stocc