AlignGS:用于稀疏视角室内重建的几何与语义对齐
计算机视觉与模式识别
2025-10-10 v1
摘要
室内场景语义丰富的 3D 模型需求正在快速增长,推动了增强现实、虚拟现实和机器人等应用。然而,如何从稀疏视角创建仍是一个挑战,due to几何歧义。现有方法常将语义被动地视为已形成(且可能存在缺陷)几何上的特征。我们认为,对于稳健的稀疏视角重建,语义理解应作为主动的引导力量。本文介绍 AlignGS,一个新颖的框架,通过开创性的几何与语义协同优化实现了这一愿景。我们从 2D 基础模型中提炼丰富先验,并通过一组新颖的语义到几何指导机制(包括深度一致性和多面向法线正则化)直接约束 3D 表示。广泛的基准评估表明,我们的方法在新视角合成和几何精度方面实现了最佳结果。结果验证了将语义先验作为几何正则器导致从有限输入视角中更连贯、更完整的 3D 模型。我们的代码可在 https://github.com/MediaX-SJTU/AlignGS 查阅。
引用
@article{arxiv.2510.07839,
title = {AlignGS: Aligning Geometry and Semantics for Robust Indoor Reconstruction from Sparse Views},
author = {Yijie Gao and Houqiang Zhong and Tianchi Zhu and Zhengxue Cheng and Qiang Hu and Li Song},
journal= {arXiv preprint arXiv:2510.07839},
year = {2025}
}