GS-ROR$^2$: 双向引导的3DGS和SDF用于反射物体的光照调整与重建
计算机视觉与模式识别
2025-04-29 v3 图形学
摘要
3D高斯溶解(3DGS)因其详尽的表达能力和高效的渲染速度而在新视角合成方面显示出强大的能力。然而，创建可重 lighting的3D资产和使用3DGS进行忠实几何重建仍然具有挑战性，特别是对于反射物体而言，其不连续的表示在约束几何方面存在困难。体积符号距离场(SDF)方法提供了稳健的几何重建，但昂贵的光线投射阻碍了其实时应用并减慢训练速度。此外，这些方法难以捕获锐利的几何细节。为此，我们提出以互补方式双向引导3DGS和SDF，包括用于高效优化光照模型的SDF辅助高斯溶解以及用于高质量几何重建的GS引导SDF。我们SDF辅助高斯溶解的核心是深度与法线之间的互相监督，将混合高斯与SDF，避免了SDF的昂贵体渲染。得益于这种互相监督，学习的混合高斯受到最小时间成本的良好约束。由于高斯以延迟光照模式渲染，alpha混合高斯光滑，但单个高斯可能仍为异常值，导致漂浮器伪影。因此，我们引入一种SDF感知的修剪策略，以移除位于SDF定义的表面远离的高斯异常值，避免漂浮问题。这一方式下，我们的GS框架提供合理的法线并实现真实的光照调整，而深度图生成的网格仍然存在问题。因此，我们设计了GS引导的SDF细化，该方法利用高斯的混合法线来精细调整SDF。通过这一改进，我们的方法可以在仅增加17%训练时间的情况下，为反射物体提供高质量网格。
引用
@article{arxiv.2406.18544,
title = {GS-ROR$^2$: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction},
author = {Zuo-Liang Zhu and Beibei Wang and Jian Yang},
journal= {arXiv preprint arXiv:2406.18544},
year = {2025}
}