Free360：基于分层高斯泼溅的从极稀疏未定姿视角无界 360 度视图合成
计算机视觉与模式识别
2025-04-01 v1
摘要
神经渲染在密集输入视角和精确位姿的高质量 3D 神经重建与新视图合成方面取得了显著成功。然而，将其应用于无界 360 度场景中极稀疏且未定姿的视角仍是一个具有挑战性的问题。在本文中，我们提出了一种新颖的神经渲染框架，以在无界 360 度场景中完成未定姿且极稀疏视角的 3D 重建。为了解决稀疏输入视角下无界场景固有的空间歧义，我们提出了一种基于高斯的分层表示，以不同的空间层有效地对场景进行建模。通过采用密集立体重建模型恢复粗略几何，我们引入了特定层的自举优化，以细化重建中的噪声并填充遮挡区域。此外，我们提出了重建与生成的迭代融合以及不确定性感知训练方法，以促进这两个过程之间的相互条件化与增强。综合实验表明，我们的方法在渲染质量和表面重建精度方面优于现有的 SOTA 方法。项目页面：https://zju3dv.github.io/free360/
引用
@article{arxiv.2503.24382,
title = {Free360: Layered Gaussian Splatting for Unbounded 360-Degree View Synthesis from Extremely Sparse and Unposed Views},
author = {Chong Bao and Xiyu Zhang and Zehao Yu and Jiale Shi and Guofeng Zhang and Songyou Peng and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2503.24382},
year = {2025}
}
备注
Accepted to CVPR 2025. Project Page: https://zju3dv.github.io/free360/