中文

暗夜中的高斯:利用高斯泼溅从不一致暗光图像进行实时视图合成

计算机视觉与模式识别 2024-08-21 v2

摘要

3D高斯泼溅(3D Gaussian Splatting)最近已成为一种强大的表示方法,能够使用一致的多视图图像作为输入合成出色的新视图。然而,我们注意到,在场景未被完全照明的暗环境中捕获的图像可能表现出显著的亮度变化和多视图不一致性,这对3D高斯泼溅构成了巨大挑战,并严重降低了其性能。为了解决这个问题,我们提出了Gaussian-DK。观察到不一致性主要由相机成像引起,我们使用一组各向异性3D高斯来表示物理世界的一致辐射场,并设计了一个相机响应模块来补偿多视图不一致性。我们还引入了一种基于步长的梯度缩放策略,以约束相机附近的高斯(这些高斯往往表现为漂浮物)进行分裂和克隆。在我们提出的基准数据集上的实验表明,Gaussian-DK能够生成无鬼影和漂浮物伪影的高质量渲染,并显著优于现有方法。此外,我们还可以通过控制曝光水平来合成增亮图像,清晰地显示阴影区域的细节。

关键词

引用

@article{arxiv.2408.09130,
  title  = {Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting},
  author = {Sheng Ye and Zhen-Hui Dong and Yubin Hu and Yu-Hui Wen and Yong-Jin Liu},
  journal= {arXiv preprint arXiv:2408.09130},
  year   = {2024}
}

备注

accepted by PG 2024