HDR-GS：基于高斯点云实现 1000 倍速度的高动态范围新视角合成
计算机视觉与模式识别
2024-10-29 v4
摘要
高动态范围（HDR）新视角合成（NVS）旨在利用 HDR 成像技术从新视角创建出光照逼真的图像。渲染的 HDR 图像捕捉到更广泛的亮度水平，场景细节丰富于正常的低动态范围（LDR）图像。现有的 HDR NVS 方法主要基于 NeRF， suffers from 长时间训练和推理速度慢。本文提出了一种新框架，高动态范围高斯点云（HDR-GS），可高效渲染新视角的 HDR 视图并重建 LDR 图像。具体而言，我们设计了双动态范围（DDR）高斯点云模型，使用球面谐波拟合 HDR 色彩，并采用基于 MLP 的调色映射器渲染 LDR 色彩。HDR 和 LDR 色彩随后输入两个平行可微光栅化（PDR）过程，以重建 HDR 和 LDR 视图。为建立 3D 高斯点云方法在 HDR NVS 研究的数据基础，我们对相机参数进行校准并计算高斯点云的初始位置。实验表明，HDR-GS 在 LDR 和 HDR NVS 方面分别超过最新基于 NeRF 的方法 3.84 和 1.91 dB，同时实现 1000 倍推理速度，仅需 6.3% 的训练时间。代码和校准后的数据将在 https://github.com/caiyuanhao1998/HDR-GS 上公开。工作简介视频可在 https://youtu.be/wtU7Kcwe7ck 观看。
引用
@article{arxiv.2405.15125,
title = {HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting},
author = {Yuanhao Cai and Zihao Xiao and Yixun Liang and Minghan Qin and Yulun Zhang and Xiaokang Yang and Yaoyao Liu and Alan Yuille},
journal= {arXiv preprint arXiv:2405.15125},
year = {2024}
}
备注
NeurIPS 2024; The first 3D Gaussian Splatting-based method for HDR imaging