iSegMan: 交互式分段和操作 3D 高斯
计算机视觉与模式识别
2025-05-20 v1
摘要
3DGS 的高效渲染和显式特性推动了 3D 场景操作的发展。然而,现有方法通常面临控制操作区域和无法为用户提供交互式反馈的挑战,这不可避免地导致意外结果。直观地, incorporating 交互式 3D 分段工具可以弥补这一不足。然而,现有的分段框架要求对场景进行特定参数训练,这限制了操作效率和灵活性。为提供一个适合场景操作且具有可靠效率的 3D 区域控制模块,我们提出了交互式分段和操作 3D 高斯 (iSegMan),这是一种仅需在任意视图中进行简单 2D 用户交互的交互式分段和操作框架。为在不同视图之间传播用户交互,我们提出了基于 Epipolar 的交互传递 (EIP),该方法创新性地利用焦边约束实现高效稳健的交互匹配。为维持效率,我们进一步提出了基于可见性的高斯投票 (VGV),该方法从 SAM 获取 2D 分段,并将区域提取建模为 2D 像素与 3D 高斯之间的投票游戏,基于高斯可见性。凭借 EIP 和 VGV 在高效和精确区域控制方面的优势,我们提出了操作工具箱以实现所选区域上的各种功能,增强了场景操作的可控性、灵活性和实用性。在 3D 场景操作和分段任务上进行的大量实验充分展示了 iSegMan 的显著优势。项目页面可在 https://zhao-yian.github.io/iSegMan 查看。
引用
@article{arxiv.2505.11934,
title = {iSegMan: Interactive Segment-and-Manipulate 3D Gaussians},
author = {Yian Zhao and Wanshi Xu and Ruochong Zheng and Pengchong Qiao and Chang Liu and Jie Chen},
journal= {arXiv preprint arXiv:2505.11934},
year = {2025}
}
备注
CVPR 2025