基于辐射场传播的无监督多视图物体分割
计算机视觉与模式识别
2022-10-20 v2
摘要
我们提出辐射场传播（RFP），一种在仅给定场景的无标签多视图图像的情况下，在重建过程中分割三维中物体的新方法。RFP 源自新兴的基于神经辐射场的技术，其将语义与外观和几何联合编码。我们方法的核心是针对单个物体辐射场的一种新颖传播策略，带有双向光度损失，从而实现将场景无监督地划分为对应于不同物体实例的显著或有意义区域。为了更好地处理具有多个物体和遮挡的复杂场景，我们进一步提出一种迭代期望最大化算法来精炼物体掩码。RFP 是首批针对神经辐射场（NeRF）的无监督处理三维真实场景物体分割的方法之一，无需任何监督、标注或其他线索（如三维边界框和物体类别的先验知识）。实验表明，RFP 取得了可行的分割结果，比先前的无监督图像/场景分割方法更准确，并且可与现有的基于监督 NeRF 的方法相媲美。分割出的物体表示支持单独的三维物体编辑操作。
引用
@article{arxiv.2210.00489,
title = {Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation},
author = {Xinhang Liu and Jiaben Chen and Huai Yu and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2210.00489},
year = {2022}
}
备注
23 pages, 14 figures, NeurIPS 2022