Surface-SOS: 基于神经表面表示的自监督目标分割
计算机视觉与模式识别
2025-01-20 v1
摘要
自监督目标分割(SOS)旨在无需任何标注即可对目标进行分割。在多摄像机输入条件下，可利用每视图之间的结构、纹理和几何一致性来实现精细的目标分割。为更好地利用上述信息，我们提出了基于神经表面表示的自监督目标分割(Surface-SOS)，该框架通过场景的多视图图像的 3D 表面表示为每一视图分割目标。为建模复杂场景的高质量几何表面，我们设计了一种新颖的场景表示方案，将场景分解为两个互补的神经表示模块，分别使用符号距离函数(SDF)。此外，Surface-SOS 能够通过引入粗糙分割掩码作为额外输入来细化单视图的分割。据我们所知，Surface-SOS 是首个利用神经表面表示打破对大量标注数据和强约束(通常涉及静态背景或视频中的时间监督)依赖的自监督方法。广泛实验表明，Surface-SOS 在包括 LLFF、CO3D、BlendedMVS、TUM 和多个真实场景上的标准基准测试中，始终比其 NeRF 基于方法获得更精细的目标掩码，并且在监督单视图基准中取得显著优势。代码已公开: https://github.com/zhengxyun/Surface-SOS。
引用
@article{arxiv.2501.09947,
title = {Surface-SOS: Self-Supervised Object Segmentation via Neural Surface Representation},
author = {Xiaoyun Zheng and Liwei Liao and Jianbo Jiao and Feng Gao and Ronggang Wang},
journal= {arXiv preprint arXiv:2501.09947},
year = {2025}
}
备注
Accepted by TIP