PanopticNeRF-360：城市场景中的全景3D到2D标签迁移

Xiao Fu; Shangzhan Zhang; Tianrun Chen; Yichong Lu; Xiaowei Zhou; Andreas Geiger; Yiyi Liao

PanopticNeRF-360：城市场景中的全景3D到2D标签迁移

计算机视觉与模式识别 2025-06-19 v4

作者: Xiao Fu , Shangzhan Zhang , Tianrun Chen , Yichong Lu , Xiaowei Zhou , Andreas Geiger , Yiyi Liao

摘要

训练自动驾驶汽车的感知系统需要大量人工标注的2D注释，标注工作繁重。尽管现有数据集在预录制序列上提供了丰富标注，但它们难以对罕见视角进行标注，可能削弱感知模型的泛化能力。本文提出PanopticNeRF-360，一种将粗粒度3D标注与含噪2D语义线索结合，从任意视角生成高质量全景标签与图像的新方法。我们的核心见解在于利用3D与2D先验的互补性来相互增强几何与语义。具体而言，我们提出利用粗粒度3D包围基元及含噪2D语义与实例预测来引导几何优化，鼓励预测标签与全景伪真值匹配。同时，改进后的几何通过经学习语义场在3D空间融合语义，辅助过滤3D与2D标注噪声。为进一步增强外观，我们结合MLP与哈希网格产生混合场景特征，在高频外观与连续语义间取得平衡。实验表明，在具挑战性的KITTI-360数据集城市场景上，PanopticNeRF-360优于现有标签迁移方法，达到SOTA性能。此外，PanopticNeRF-360支持全向渲染高保真、多视角且时空一致的appearance、语义与实例标签。我们的代码与数据发布于 https://github.com/fuxiao0719/PanopticNeRF

关键词

全景标注标签迁移 NeRF 城市场景 3D标注语义场 KITTI-360

引用

@article{arxiv.2309.10815,
  title  = {PanopticNeRF-360: Panoramic 3D-to-2D Label Transfer in Urban Scenes},
  author = {Xiao Fu and Shangzhan Zhang and Tianrun Chen and Yichong Lu and Xiaowei Zhou and Andreas Geiger and Yiyi Liao},
  journal= {arXiv preprint arXiv:2309.10815},
  year   = {2025}
}

备注

TPAMI 2025. Project page: http://fuxiao0719.github.io/projects/panopticnerf360/ Code: https://github.com/fuxiao0719/PanopticNeRF/tree/panopticnerf360

PanopticNeRF-360：城市场景中的全景3D到2D标签迁移

摘要

关键词

引用

备注

相关论文