从混沌到清晰：暗处的3D高斯溅写
图像与视频处理
2024-06-13 v1 计算机视觉与模式识别
摘要
从原始图像进行新视角合成可提供比来自低动态范围RGB图像的重建更高的动态范围（HDR）信息。然而，未处理的原始图像中固有的噪声会损害3D场景表示的准确性。我们的研究发现，3D高斯溅写（3DGS）对这种噪声尤其敏感，导致大量延长的高斯形状对噪声进行过拟合，从而显著降低重建质量并降低推理速度，尤其是在视野有限的场景中。为解决这些问题，我们引入了一个 novel 的自监督学习框架，用于从有限数量的噪声原始图像重建HDR 3DGS。该框架通过集成噪声提取器并采用利用噪声分布先验的鲁棒重建损失来增强3DGS。实验结果表明，我们的方法在RawNeRF数据集上，在广泛的训练视角范围内，优于LDR/HDR 3DGS和以前的状态（SOTA）自监督和监督预训练模型，在重建质量和推理速度方面均表现出色。代码可在 \url{https://lizhihao6.github.io/Raw3DGS} 找到。
引用
@article{arxiv.2406.08300,
title = {From Chaos to Clarity: 3DGS in the Dark},
author = {Zhihao Li and Yufei Wang and Alex Kot and Bihan Wen},
journal= {arXiv preprint arXiv:2406.08300},
year = {2024}
}