Click-Gaussian：用于任意3D高斯的交互式分割
计算机视觉与模式识别
2024-07-17 v1 人工智能
图形学
摘要
3D高斯的交互式分割为利用3D高斯溶解的实时渲染能力开辟了实时操作3D场景的广阔机遇。然而，现有方法因处理噪声分割输出而耗时，而且难以提供细致的分割，这对于对3D场景进行精细操作至关重要。在本研究中，我们提出Click-Gaussian，通过学习两种粒度可区分的特征场，实现无需耗时的后处理即可进行分割。我们深入研究了由于2D分割独立于3D场景导致的特征场不一致学习问题的挑战。当2D分割结果在不同视图之间相互冲突时（这些结果是3D分割的主要线索），3D分割准确性会恶化。为克服这些问题，我们提出了全局特征引导学习(GFL)。GFL从噪声的2D分割在不同视图之间的聚类全局特征候选者，从而在训练3D高斯的特征时平滑噪声。我们的方法每点击仅需10毫秒，速度比前述方法快15至130倍，同时显著提高了分割准确性。我们的项目页面地址为https://seokhunchoi.github.io/Click-Gaussian
引用
@article{arxiv.2407.11793,
title = {Click-Gaussian: Interactive Segmentation to Any 3D Gaussians},
author = {Seokhun Choi and Hyeonseop Song and Jaechul Kim and Taehyeong Kim and Hoseok Do},
journal= {arXiv preprint arXiv:2407.11793},
year = {2024}
}
备注
Accepted to ECCV 2024. The first two authors contributed equally to this work