扩散模型是隐式的零样本 3DGS 调和器
计算机视觉与模式识别
2026-05-04 v2
摘要
Gaussian Splatting 已成为各种 3D 计算机视觉任务的流行技术，包括新视角合成、场景重建和动态场景渲染。然而，使物体外观与场景无缝匹配的自然感物体插入挑战仍未解决。在本工作中，我们提出了一种名为 D3DR 的方法，用于将 3DGS 参数化的物体插入 3DGS 场景中，同时校正其光照、阴影和其他视觉伪影以确保一致性。我们揭示了在大规模真实世界数据集上训练的扩散模型隐式理解正确场景光照的隐藏能力，并在我们的流程中加以利用。插入物体后，我们优化基于扩散的 Delta Denoising Score (DDS) 启发目标，以调整其 3D 高斯参数实现适当的光照校正。我们引入了一种新颖的扩散个性化技术，可在不同光照条件下保持物体几何和纹理，并利用它在原始物体和插入物体之间实现一致的标识匹配。最后，我们通过与现有方法进行比较，证明了该方法的有效性，在重照明质量上实现了 2.0 dB 的 PSNR 提升。
引用
@article{arxiv.2503.06740,
title = {Diffusion Models are Secretly Zero-Shot 3DGS Harmonizers},
author = {Vsevolod Skorokhodov and Nikita Durasov and Pascal Fua},
journal= {arXiv preprint arXiv:2503.06740},
year = {2026}
}