用于精确基于视觉的 3D 占用预测的深度高度解耦
计算机视觉与模式识别
2025-03-05 v4
摘要
基于视觉的 3D 占用预测任务旨在从 2D 彩色图像重建 3D 几何并估计其语义类别，其中 2D 到 3D 的视图转换是不可或缺的步骤。大多数先前的方法采用前向投影，例如 BEVPooling 和 VoxelPooling，两者均将 2D 图像特征映射到 3D 网格中。然而，当前表示特定高度范围内特征的网格通常会引入许多属于其他高度范围的混淆特征。为了应对这一挑战，我们提出了深度高度解耦 (DHD)，一种结合显式高度先验以滤除混淆特征的新颖框架。具体而言，DHD 首先通过显式监督预测高度图。基于高度分布统计，DHD 设计了掩码引导高度采样 (MGHS)，以自适应地将高度图解耦为多个二值掩码。MGHS 将 2D 图像特征投影到多个子空间中，其中每个网格包含合理高度范围内的特征。最后，部署了协同特征聚合 (SFA) 模块，通过通道和空间亲和力增强特征表示，从而实现进一步的占用细化。在流行的 Occ3D-nuScenes 基准上，我们的方法即使在输入帧最少的情况下也达到了最先进的性能。源代码发布于 https://github.com/yanzq95/DHD。
引用
@article{arxiv.2409.07972,
title = {Deep Height Decoupling for Precise Vision-based 3D Occupancy Prediction},
author = {Yuan Wu and Zhiqiang Yan and Zhengxue Wang and Xiang Li and Le Hui and Jian Yang},
journal= {arXiv preprint arXiv:2409.07972},
year = {2025}
}