SPC-GS：基于语义提示一致性的稀疏输入室内开放世界自由视角高斯溶解
计算机视觉与模式识别
2025-03-18 v1
摘要
3D 高斯溶解基于室内开放世界自由视角合成的方法在密集输入图像上表现显著，但在面对稀疏输入时表现较差，主要由于高斯点稀疏分布和视角监督不足。为缓解这些挑战，我们提出 SPC-GS，利用基于场景布局的高斯初始化（SGI）和语义提示一致性（SPC）正则化实现稀疏输入下的开放世界自由视角合成。具体而言，SGI 通过利用来自视频生成模型生成的视角变化图像和受视角约束的高斯点稠密化，提供稠密的场景布局基于高斯分布。此外，SPC 通过采用 SAM2 开发的语义提示一致性约束来缓解有限的视角监督。该方法利用训练视角中可用语义，作为有指导性的提示，用于优化新视角中视觉重叠区域的 2D 和 3D 一致性约束。广泛的实验表明，SPC-GS 在 Replica 和 ScanNet 数据集上表现优异。值得注意的是，我们的 SPC-GS 在重建质量上实现了 3.06 dB 的提升，在开放世界语义分割上实现了 7.3% 的 mIoU 改进。
引用
@article{arxiv.2503.12535,
title = {SPC-GS: Gaussian Splatting with Semantic-Prompt Consistency for Indoor Open-World Free-view Synthesis from Sparse Inputs},
author = {Guibiao Liao and Qing Li and Zhenyu Bao and Guoping Qiu and Kanglin Liu},
journal= {arXiv preprint arXiv:2503.12535},
year = {2025}
}
备注
Accepted by CVPR2025. The project page is available at https://gbliao.github.io/SPC-GS.github.io/