MirrorGaussian：反射 3D 高斯以重建镜面反射
计算机视觉与模式识别
2024-05-21 v1
摘要
3D Gaussian Splatting 在照片级真实感和实时新视角合成方面展现了显著进步。然而，它在建模镜面反射时面临挑战，因为镜面反射在不同视角下表现出显著的外观变化。为了解决这个问题，我们提出了 MirrorGaussian，这是第一种基于 3D Gaussian Splatting 进行镜面场景重建并实现实时渲染的方法。关键见解基于真实世界空间与虚拟镜面空间之间的镜面对称性。我们引入了一种直观的双重渲染策略，能够对真实世界 3D 高斯以及将前者关于镜平面反射得到的镜像对应物进行可微分光栅化。所有 3D 高斯与镜平面在一个端到端框架中进行联合优化。MirrorGaussian 在包含镜子的场景中实现了高质量和实时渲染，支持添加新镜子和物体等场景编辑。在多个数据集上的综合实验表明，我们的方法显著优于现有方法，取得了 SOTA 结果。项目页面：https://mirror-gaussian.github.io/。
引用
@article{arxiv.2405.11921,
title = {MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections},
author = {Jiayue Liu and Xiao Tang and Freeman Cheng and Roy Yang and Zhihao Li and Jianzhuang Liu and Yi Huang and Jiaqi Lin and Shiyong Liu and Xiaofei Wu and Songcen Xu and Chun Yuan},
journal= {arXiv preprint arXiv:2405.11921},
year = {2024}
}