OMEGAS：基于高斯分割引导的大场景目标网格提取
计算机视觉与模式识别
2024-08-29 v4
摘要
近期 3D 重建技术的进展，使得复杂 3D 场景的高质量和实时渲染成为可能。尽管取得了这些成果，但仍面临一个显著挑战：难以精确地从大型场景中重建特定对象。当前的场景重建技术常常导致目标细节纹理丢失，无法重建视角中被遮挡或不可见的目标部分。为解决这一挑战，我们深入研究大型场景中特定对象的精细 3D 重建，提出了一种框架，称为 OMEGAS：Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation。具体而言，我们提出了一种基于 2D 高斯溅写(2D Gaussian Splatting)的新型 3D 目标分割技术，该技术在多视角场景图像中分割出 3D 一致的目标掩码，并生成初步的目标模型。此外，为重建目标的不可见部分，我们提出了一种基于大规模生成扩散先验驱动的新型目标补充技术。我们证明了该方法在定性和定量分析下均能准确地从大型场景中重建特定目标。我们的实验表明，OMEGAS 在各种场景下均显著优于现有的重建方法。我们的项目页面地址为：https://github.com/CrystalWlz/OMEGAS
引用
@article{arxiv.2404.15891,
title = {OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation},
author = {Lizhi Wang and Feng Zhou and Bo yu and Pu Cao and Jianqin Yin},
journal= {arXiv preprint arXiv:2404.15891},
year = {2024}
}