SegNeRF：基于神经辐射场的3D部件分割
计算机视觉与模式识别
2022-11-23 v2
摘要
神经辐射场（NeRF）的最新进展在 novel view synthesis（新视角合成）和3D重建等生成任务中展现出令人印象深刻的性能。基于神经辐射场的方法能够仅依靠带位姿的图像隐式地表示3D世界。然而，它们在3D部件分割等判别任务领域却鲜有探索。在这项工作中，我们试图弥补这一差距，提出 SegNeRF：一种将语义场与常规辐射场相集成的神经场表示。SegNeRF 继承了先前工作的新视角合成与3D重建能力，并能够从少量图像中实现3D部件分割。我们在 PartNet 上的大量实验表明，SegNeRF 能够从带位姿的图像中同时预测几何、外观和语义信息，即便对于未见过的物体也是如此。预测的语义场使 SegNeRF 在2D新视角分割上达到平均 mIoU 为 \textbf{30.30%}，在3D部件分割上达到 \textbf{37.46%}，仅使用少量带位姿图像便可与基于点的方法竞争。此外，SegNeRF 能够从野外拍摄的单个物体图像生成显式3D模型及其对应的部件分割。
引用
@article{arxiv.2211.11215,
title = {SegNeRF: 3D Part Segmentation with Neural Radiance Fields},
author = {Jesus Zarzar and Sara Rojas and Silvio Giancola and Bernard Ghanem},
journal= {arXiv preprint arXiv:2211.11215},
year = {2022}
}
备注
Fixed abstract typo