用 3DGS 照亮黑暗：面向 HDR 视图合成的快速训练与实时渲染
计算机视觉与模式识别
2024-06-11 v1
摘要
基于体渲染的方法（如 NeRF）在从 RAW 图像进行 HDR 视图合成方面表现出色，尤其是对于夜间场景。然而，由于密集采样的需求，它们存在训练时间长且无法进行实时渲染的问题。3D Gaussian Splatting (3DGS) 的出现实现了实时渲染和更快的训练。但是，直接使用 3DGS 实现基于 RAW 图像的视图合成具有挑战性，因为其固有的缺陷：1）在夜间场景中，极低的信噪比（SNR）导致远视图的运动恢复结构（SfM）估计较差；2）球谐函数（SH）有限的表示能力不适用于 RAW 线性颜色空间；3）不准确的场景结构阻碍了重聚焦等下游任务。为了解决这些问题，我们提出了 LE3D（Lighting Every darkness with 3DGS）。该方法提出 Cone Scatter Initialization 以丰富 SfM 的估计，并用 Color MLP 替代 SH 来表示 RAW 线性颜色空间。此外，我们引入了深度畸变和远近正则化，以提高下游任务中场景结构的准确性。这些设计使 LE3D 能够执行实时的新视图合成、HDR 渲染、重聚焦和色调映射更改。与以往基于体渲染的方法相比，LE3D 将训练时间减少至 1%，并在 2K 分辨率图像的 FPS 指标上将渲染速度提高了 4,000 倍。代码和查看器可在 https://github.com/Srameo/LE3D 获取。
引用
@article{arxiv.2406.06216,
title = {Lighting Every Darkness with 3DGS: Fast Training and Real-Time Rendering for HDR View Synthesis},
author = {Xin Jin and Pengyi Jiao and Zheng-Peng Duan and Xingchao Yang and Chun-Le Guo and Bo Ren and Chongyi Li},
journal= {arXiv preprint arXiv:2406.06216},
year = {2024}
}