EvaGaussians:利用模糊图像中的事件流辅助的高斯溅射
计算机视觉与模式识别
2024-12-09 v3
摘要
3D 高斯溅射 (3D-GS) 在 3D 场景重建和新视角合成方面显示出卓越的能力。然而,其训练严重依赖于高质量、清晰的图像和准确的相机姿态。在非理想的真实世界场景中,这些要求可能难以满足,其中运动模糊图像在高速移动的相机或需要长曝光的低光环境中常见。为解决这些挑战,我们引入事件流辅助的高斯溅射 (EvaGaussians),这是一种新方法,将由事件相机捕获的事件流与从模糊图像中构建高质量 3D-GS 相结合。利用事件相机提供的高时序分辨率和动态范围,我们利用事件流显式地建模运动模糊图像的形成过程,并指导 3D-GS 的去模糊重建。在联合优化 3D-GS 参数和在曝光时间内恢复相机运动轨迹之后,我们的方法能够稳健地促进获取具有复杂纹理细节的高保真新视角。我们全面评估了该方法,并与以前的领先去模糊渲染方法进行了比较。定性和定量比较表明,该方法在恢复模糊图像中的细节方面以及生成高保真新视角方面优于现有技术。
引用
@article{arxiv.2405.20224,
title = {EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images},
author = {Wangbo Yu and Chaoran Feng and Jiye Tang and Jiashu Yang and Zhenyu Tang and Xu Jia and Yuchao Yang and Li Yuan and Yonghong Tian},
journal= {arXiv preprint arXiv:2405.20224},
year = {2024}
}
备注
Project Page: https://www.falcary.com/EvaGaussians/