HDRSplat：用于从原始图像重建高动态范围3D场景的高斯溶解
计算机视觉与模式识别
2024-07-24 v1 图像与视频处理
摘要
最近的3D高斯溶解（3DGS） revolutionized 3D 场景重建领域，使其能够在实时内实现高保真的新视角合成。然而，除RawNeRF外，所有现有的3DGS和基于NeRF的方法都依赖于8位 tone-mapped 低动态范围（LDR）图像进行场景重建。此类方法在需要更高动态范围的场景中难以实现准确重建。例如，在夜间或照明不足的室内空间中信噪比低的场景，以及在阴影区域 exhibits 极端对比度的白天场景。我们提出的HDRSplat将3DGS定制化为直接在14位线性原始图像上训练，以近乎黑暗的环境下保留场景的完整动态范围和内容。我们的主要贡献有两点：首先，我们提出一种适合线性HDR空间的损失函数，有效地从噪声较大的暗部区域和接近饱和的亮部区域同时提取场景信息，同时在不增加球面谐和次数的情况下处理视角相关颜色。其次，通过精细的光栅化调校，我们在隐式地克服了3DGS对点云初始化的强大依赖和敏感性。这一点对于在纹理稀少、浅景深和照明不足的区域进行准确重建至关重要。HDRSplat是目前尚 fastest 能够进行14位（HDR）3D场景重建的方法，耗时 15分钟/场景（约比 prior state-of-the-art RawNeRF 慢30倍）。它还拥有 120fps 的 fastest inference speed。我们进一步展示了将HDR场景重建应用于各种应用的可行性，例如合成景深、稠密深度图提取以及后期控制曝光、tone-mapping 和视点。
引用
@article{arxiv.2407.16503,
title = {HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images},
author = {Shreyas Singh and Aryan Garg and Kaushik Mitra},
journal= {arXiv preprint arXiv:2407.16503},
year = {2024}
}