Panoptic NeRF：面向全景城市场景分割的 3D 到 2D 标签迁移
计算机视觉与模式识别
2022-09-12 v2
摘要
带有高质量标注的大规模训练数据对于训练语义和实例分割模型至关重要。遗憾的是，逐像素标注费时费力且成本高昂，这提升了对更高效标注策略的需求。在本工作中，我们提出了一种新颖的 3D 到 2D 标签迁移方法 Panoptic NeRF，旨在从易于获取的粗粒度 3D 包围基元中得到逐像素的 2D 语义和实例标签。我们的方法利用 NeRF 作为可微分工具，统一来自现有数据集的粗粒度 3D 标注和 2D 语义线索。我们证明这种组合允许在语义信息引导下改进几何，从而能够在多个视角下渲染准确的语义图。此外，该融合过程解决了粗粒度 3D 标注的标签歧义并过滤了 2D 预测中的噪声。通过在 3D 空间推断并渲染为 2D 标签，我们的 2D 语义和实例标签在设计上即具有多视角一致性。实验结果表明，在 KITTI-360 数据集具有挑战性的城市场景上，Panoptic NeRF 在准确率和多视角一致性方面均优于现有的标签迁移方法。
引用
@article{arxiv.2203.15224,
title = {Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation},
author = {Xiao Fu and Shangzhan Zhang and Tianrun Chen and Yichong Lu and Lanyun Zhu and Xiaowei Zhou and Andreas Geiger and Yiyi Liao},
journal= {arXiv preprint arXiv:2203.15224},
year = {2022}
}
备注
Project page: https://fuxiao0719.github.io/projects/panopticnerf/