去模糊 3D 高斯泼溅
计算机视觉与模式识别
2024-09-25 v3
摘要
辐射场领域的近期研究为新颖视图合成奠定了坚实基础，其具有照片级的渲染质量。然而，它们通常采用神经网络和体渲染，训练成本高昂，且由于渲染时间长，阻碍了其在各种实时应用中的广泛使用。最近，提出了基于 3D 高斯泼溅的方法来建模 3D 场景，该方法在实现实时图像渲染的同时达到了卓越的视觉质量。然而，如果训练图像模糊，其渲染质量会严重下降。模糊通常由镜头失焦、物体运动和相机抖动引起，不可避免地干扰清晰图像的获取。先前的几项研究试图利用神经场从模糊输入图像中渲染清晰锐利的图像。然而，这些工作大多仅针对基于体渲染的神经辐射场设计，无法直接应用于基于光栅化的 3D 高斯泼溅方法。因此，我们提出了一种新颖的实时去模糊框架“去模糊 3D 高斯泼溅”，使用一个小型多层感知机（MLP）来操纵每个 3D 高斯的协方差，以对场景模糊进行建模。虽然“去模糊 3D 高斯泼溅”仍能享受实时渲染，但它能从模糊图像中重建精细锐利的细节。我们在基准测试上进行了多种实验，结果揭示了该方法在去模糊方面的有效性。定性结果见：https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/
引用
@article{arxiv.2401.00834,
title = {Deblurring 3D Gaussian Splatting},
author = {Byeonghyeon Lee and Howoong Lee and Xiangyu Sun and Usman Ali and Eunbyung Park},
journal= {arXiv preprint arXiv:2401.00834},
year = {2024}
}
备注
29 pages, 16 figures