迈向精确的单目全景 3D 检测：以语义高斯为中心的方法

全景图像中的三维目标检测对于全面的场景理解至关重要，但将 2D 特征精确映射到 3D 仍然是一个重大挑战。现有方法通常将 2D 特征投影到离散的 3D 网格上，这破坏了几何连续性并限制了表示效率。为了克服这一局限性，本文提出了 PanoGSDet，一个建立在连续语义 3D 高斯表示之上的单目全景 3D 检测框架。所提出的框架包括全景深度估计组件和语义高斯组件。全景深度估计组件从单目全景输入中提取等距柱状语义和深度特征。语义高斯组件包括一个将球面特征投影为 3D 语义高斯的语义高斯提升模块、一个细化这些语义高斯的语义高斯优化模块，以及一个从优化后的高斯表示生成 3D 边界框的高斯引导预测头。在 Structured3D 数据集上的大量实验表明，我们的方法显著优于现有方法。