GSFix3D：扩散引导的高斯泼溅新视角修复
计算机视觉与模式识别
2025-08-21 v1
摘要
近期 3D 高斯泼溅的发展显著增强了新视角合成能力，但从极端新视角或部分观测区域生成高质量渲染图仍然具有挑战性。与此同时，扩散模型展现出强大的生成能力，但它们对文本提示的依赖以及对特定场景信息感知的缺乏，阻碍了精确的 3D 重建任务。为解决这些限制，我们引入了 GSFix3D，这是一个新颖的框架，通过将扩散模型的先验知识蒸馏到 3D 表示中，同时保持与观测到的场景细节的一致性，从而提升欠约束区域的视觉保真度。其核心是 GSFixer，这是一个通过我们定制的微调协议获得的潜在扩散模型，它能够利用网格和 3D 高斯，使预训练的生成模型适应来自不同重建方法的各种环境和伪影类型，从而实现对未见相机姿态的鲁棒新视角修复。此外，我们提出了一种随机掩码增强策略，使 GSFixer 能够合理地修复缺失区域。在具有挑战性的基准测试上的实验表明，我们的 GSFix3D 和 GSFixer 达到了最先进的性能，仅需对捕获数据进行极少的场景特定微调。真实世界测试进一步证实了其对潜在姿态误差的鲁棒性。我们的代码和数据将公开。项目页面：https://gsfix3d.github.io。
引用
@article{arxiv.2508.14717,
title = {GSFix3D: Diffusion-Guided Repair of Novel Views in Gaussian Splatting},
author = {Jiaxin Wei and Stefan Leutenegger and Simon Schaefer},
journal= {arXiv preprint arXiv:2508.14717},
year = {2025}
}