MGF：基于多视图图像的掩码高斯场建模
计算机视觉与模式识别
2024-08-07 v1 图形学
摘要
过去几十年来，基于图像的建筑表面重建已引起广泛关注，并在文化遗产保存、建筑规划等多个领域得到应用。与传统的多视点法和NeRF方法相比，近期基于高斯场的方法在由于其高效训练和保留详细3D信息方面展现出显著潜力。然而，大多数基于高斯场的方法是使用所有图像像素进行训练的，包含建筑和非建筑区域，这会导致建筑网格噪声显著，降低时间效率。本文提出一种新框架，掩码高斯场（MGF），旨在以高效方式生成建筑的准确表面重建。该框架首先应用EfficientSAM和COLMAP生成建筑的多级掩码及对应的掩码点云。随后，通过整合两种创新损失：面向构建建筑区域的多级感知掩码损失，以及旨在增强不同掩码之间边界细节的边界损失，来训练掩码高斯场。最后，我们基于掩码高斯球改进四面体表面网格提取方法。针对无人机图像的全面实验表明，与传统方法以及多个基于NeRF和高斯的SOTA解决方案相比，我们的方法在建筑表面重建的准确性和效率方面均显著提升。值得注意的是，作为副产品，还额外提升了建筑的新视角合成效果。
引用
@article{arxiv.2408.03060,
title = {MGFs: Masked Gaussian Fields for Meshing Building based on Multi-View Images},
author = {Tengfei Wang and Zongqian Zhan and Rui Xia and Linxia Ji and Xin Wang},
journal= {arXiv preprint arXiv:2408.03060},
year = {2024}
}