SSDNeRF：神经辐射场的语义软分解
计算机视觉与模式识别
2022-12-08 v1
摘要
神经辐射场（NeRF）通过由场景全光函数参数化的方式编码场景中的辐射。这是通过使用一个 MLP 以及到更高维空间的映射实现的，并已被证明能以极细粒度捕捉场景。自然地，相同的参数化可用于编码场景的额外属性，而不仅仅是其辐射。在这方面一个特别有趣的属性是场景的语义分解。我们引入一种用于神经辐射场语义软分解的新技术（命名为 SSDNeRF），它联合编码场景的语义信号与辐射信号。我们的方法提供场景到语义部分的软分解，使我们能够正确地编码沿同一方向混合的多个语义类别——这是现有方法不可能完成的任务。这不仅带来了场景细致的 3D 语义表示，我们还表明用于编码的 MLP 的正则化效应有助于改善语义表示。我们在常见物体数据集上展示了最先进的分割与重建结果，并演示了所提方法如何应用于随意拍摄的自拍视频数据集上的高质量时间一致视频编辑与重新合成。
引用
@article{arxiv.2212.03406,
title = {SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields},
author = {Siddhant Ranade and Christoph Lassner and Kai Li and Christian Haene and Shen-Chi Chen and Jean-Charles Bazin and Sofien Bouaziz},
journal= {arXiv preprint arXiv:2212.03406},
year = {2022}
}
备注
Project page: https://www.siddhantranade.com/research/2022/12/06/SSDNeRF-Semantic-Soft-Decomposition-of-Neural-Radiance-Fields.html