TSGaussian：语义与深度引导的面向目标的高斯溅射从稀疏视角
计算机视觉与模式识别
2024-12-16 v1 人工智能
摘要
高斯溅射的最新进展显著推动了这一领域的发展，实现了对 3D 场景的全景和交互式分割。然而，现有方法往往忽视了从稀疏视角重建具有复杂结构的指定目标的关键需求。为了解决这一问题，我们引入了 TSGaussian，一个将语义约束与深度先验相结合的新框架，以避免在具有挑战性的新视角合成任务中出现几何退化。我们的方法将计算资源优先分配给指定目标，同时最小化背景分配。YOLOv9 的边界框作为提示，用于 Segment Anything Model 生成 2D 掩码预测，确保语义准确性和成本效率。TSGaussian 通过为每个高斯椭球引入紧凑的身份编码并加入 3D 空间一致性正则化，有效地对 3D 高斯进行聚类。利用这些模块，我们提出了一种剪枝策略，以有效减少 3D 高斯的冗余。大量实验表明，TSGaussian 在三个标准数据集和一个我们收集的新挑战数据集上优于最先进方法，在特定物体的新视角合成中取得了优异结果。代码可在以下地址获取：https://github.com/leon2000-ai/TSGaussian。
引用
@article{arxiv.2412.10051,
title = {TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views},
author = {Liang Zhao and Zehan Bao and Yi Xie and Hong Chen and Yaohui Chen and Weifu Li},
journal= {arXiv preprint arXiv:2412.10051},
year = {2024}
}