辐射场的场景可泛化交互式分割
计算机视觉与模式识别
2023-08-10 v1
摘要
现有的辐射场交互式分割方法需要进行场景特定优化，因而无法跨不同场景泛化，这极大限制了其适用性。本工作中，我们首次尝试辐射场中的场景可泛化交互式分割(SGISRF)，并提出一种新颖的 SGISRF 方法，该方法可对以辐射场表示的未知（未见过）场景进行三维物体分割，仅由给定的一组多视角二维图像中的少许交互式用户点击引导。具体而言，所提 SGISRF 聚焦以三种专门设计的技术解决三个关键挑战。首先，我们设计跨维度引导传播将稀缺的二维用户点击编码为信息丰富的三维引导表示。其次，设计了消除不确定性的三维分割模块以实现高效且有效的三维分割。第三，提出隐藏揭示监督学习方案，以揭示并纠正仅用二维掩码标注的二维空间监督所导致的隐藏三维分割错误。在两个涵盖多样场景的真实世界挑战性基准上的大量实验表明：1) 所提方法的有效性与场景可泛化性，2) 相较于需场景特定优化的经典方法具有更优性能。
引用
@article{arxiv.2308.05104,
title = {Scene-Generalizable Interactive Segmentation of Radiance Fields},
author = {Songlin Tang and Wenjie Pei and Xin Tao and Tanghui Jia and Guangming Lu and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2308.05104},
year = {2023}
}