NeRF-SOS：复杂场景下任意视角的自监督目标分割
计算机视觉与模式识别
2022-10-13 v6
摘要
神经体积表示已展现出潜力，即多层感知机（MLPs）可通过多视角标定图像进行优化，以表示场景几何与外观，而无需显式的三维监督。目标分割能够丰富基于所学辐射场的许多下游应用。然而，在复杂的真实世界场景中引入手工分割来定义感兴趣区域并非易事且代价高昂，因为这需要逐视角标注。本文探索了利用 NeRF 对复杂真实世界场景进行自监督目标分割的学习。我们的框架称为带自监督目标分割的 NeRF（NeRF-SOS），将目标分割与神经辐射场相耦合，以分割场景内任意视角的目标。通过提出一种在外观与几何层面均新颖的协同对比损失，NeRF-SOS 鼓励 NeRF 模型从其密度场与自监督预训练的二维视觉特征中提炼出紧凑的几何感知分割簇。该自监督目标分割框架可应用于多种 NeRF 模型，既能得到照片级真实感的渲染结果，也能得到令人信服的分割图，适用于室内与室外场景。在 LLFF、Tank & Temple 和 BlendedMVS 数据集上的大量结果验证了 NeRF-SOS 的有效性。它持续超越其他基于二维的自监督基线，并预测出比现有有监督对应方法更精细的语义掩码。更多细节请参考我们项目页面上的视频：https://zhiwenfan.github.io/NeRF-SOS。
引用
@article{arxiv.2209.08776,
title = {NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes},
author = {Zhiwen Fan and Peihao Wang and Yifan Jiang and Xinyu Gong and Dejia Xu and Zhangyang Wang},
journal= {arXiv preprint arXiv:2209.08776},
year = {2022}
}