MGSR: 2D/3D互增强高斯泼溅用于多变光照条件下的高保真表面重建
计算机视觉与模式识别
2025-07-23 v2
摘要
新视角合成（NVS）和表面重建（SR）是 3D 高斯泼溅（3D-GS）中的核心任务。尽管近期取得了进展，但这些任务通常被独立处理，基于 GS 的渲染方法在多样化光照条件下表现不佳且难以生成精确表面，而基于 GS 的重建方法则经常牺牲渲染质量。这引发了一个核心问题：渲染与重建是否必须进行权衡？为解决这一问题，我们提出了 MGSR，一种用于表面重建的 2D/3D 互增强高斯泼溅方法，在提升渲染质量的同时提高 3D 重建精度。MGSR 引入两个分支——一个基于 2D-GS，另一个基于 3D-GS。2D-GS 分支擅长表面重建，为 3D-GS 分支提供精确的几何信息。利用这些几何信息，3D-GS 分支采用几何引导的光照分解模块来捕捉反射和透射分量，从而在多变光照条件下实现真实渲染。以透射分量作为监督信号，2D-GS 分支也实现了高保真表面重建。在整个优化过程中，2D-GS 和 3D-GS 分支交替优化，相互提供监督。在此之前，每个分支完成独立的预热阶段，并采用早停策略以降低计算成本。我们在多样化的合成和真实世界数据集上，在物体和场景两个层面评估了 MGSR，展示了在渲染和表面重建方面的强大性能。代码可在 https://github.com/TsingyuanChou/MGSR 获取。
引用
@article{arxiv.2503.05182,
title = {MGSR: 2D/3D Mutual-boosted Gaussian Splatting for High-fidelity Surface Reconstruction under Various Light Conditions},
author = {Qingyuan Zhou and Yuehu Gong and Weidong Yang and Jiaze Li and Yeqi Luo and Baixin Xu and Shuhao Li and Ben Fei and Ying He},
journal= {arXiv preprint arXiv:2503.05182},
year = {2025}
}
备注
Accepted at ICCV'25