SA-GS：基于几何约束的语义感知高斯溅大场景重建
计算机视觉与模式识别
2024-05-29 v2
摘要
随着高斯溅的出现，最近的研究工作聚焦于大规模场景几何重建，但这些工作要么关注内存降低，要么关注空间划分，忽略了语义空间中的信息。本文提出了一种新方法，命名为 SA-GS，用于使用语义感知 3D 高斯溅进行细粒度 3D 几何重建。具体而言，我们利用存储在大型视觉模型（如 SAM 和 DINO）中的先验信息生成语义掩码。随后，我们引入一种几何复杂度测量函数作为软正则，引导每个高斯溅在特定语义区域内的形状。此外，我们提出了一种方法来估计不同语义区域中高斯溅的预期数量，有效地为这些区域中的高斯溅提供下界。随后，我们采用一种基于概率密度的提取方法，将高斯溅转换为对下游任务至关重要的点云。我们的方法还提供了在保持高图像基重建结果的同时进行详细语义查询的潜力。我们在公开的大规模场景重建数据集（具有高度准确的点云作为 ground truth）以及我们新构建的数据集上进行了 extensive 实验。我们的结果在几何基准度量指标上显著优于当前的 SOTA 高斯溅重建方法。代码和额外结果将很快在项目页面上提供。
引用
@article{arxiv.2405.16923,
title = {SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain},
author = {Butian Xiong and Xiaoyu Ye and Tze Ho Elden Tse and Kai Han and Shuguang Cui and Zhen Li},
journal= {arXiv preprint arXiv:2405.16923},
year = {2024}
}
备注
Might need more comparison, will be add later