基于点云引导的高斯溅射多目标分割
计算机视觉与模式识别
2025-08-04 v1
摘要
我们提出 PointGauss，一种基于点云引导的用于高斯溅射（Gaussian Splatting）实时多目标分割的新型框架。不同于现有方法导致初始化时间延长和多视角一致性有限的方案，本方法通过直接解析高斯原始数据，实现点云分割驱动的管线，实现高效的3D分割。核心创新点体现在两个方面：(1) 基于点云的高斯原始数据解码器，可在1分钟内生成3D实例掩码；(2) 基于GPU加速的2D掩码渲染系统，确保多视角一致性。大量实验表明，本方法相较于前沿方法在多视角mIoU上实现1.89至31.78%的显著提升，同时保持卓越的计算效率。为弥补当前基准测试（单目标聚焦、3D评估不一致、规模小、覆盖不全）的局限，我们提出 DesktopObjects-360，一个用于辐射场（radiance fields）3D分割的全新综合数据集，包含：(1) 复杂的多目标场景；(2) 全局一致的2D标注；(3) 大规模训练数据（超过2.7万个2D掩码）；(4) 完整360{\deg}视角覆盖；(5) 3D评估掩码。
引用
@article{arxiv.2508.00259,
title = {PointGauss: Point Cloud-Guided Multi-Object Segmentation for Gaussian Splatting},
author = {Wentao Sun and Hanqing Xu and Quanyun Wu and Dedong Zhang and Yiping Chen and Lingfei Ma and John S. Zelek and Jonathan Li},
journal= {arXiv preprint arXiv:2508.00259},
year = {2025}
}
备注
22 pages, 9 figures