中文

DeblurGS:用于相机运动模糊的高斯溅射

计算机视觉与模式识别 2024-04-19 v2

摘要

虽然已在从运动模糊图像重建锐利 3D 场景方面取得了显著进展,但向实际应用的过渡仍存在挑战。主要障碍在于严重的模糊导致通过结构从运动(Structure-from-Motion)获取初始相机姿态时精度不准,这一关键环节往往被以前的方法所忽视。为此,我们提出了 DeblurGS 方法,用于即使在噪声较大的相机姿态初始化情况下,也能从运动模糊图像优化锐利的 3D 高斯溅射场景。我们通过利用 3D 高斯溅射的卓越重建能力来恢复细粒度的锐利场景。我们的 approach 会为每个模糊观测估计 6 自由度的相机运动,并为优化过程合成相应的模糊渲染。此外,我们提出了高斯密度退火策略,以防止在相机运动尚未精确时,早期训练阶段产生不准确的高斯。全面实验表明,DeblurGS 在实际场景和合成基准数据集,以及实地拍摄的模糊智能手机视频方面,在去模糊和新视角合成方面实现了最先进的性能。

关键词

引用

@article{arxiv.2404.11358,
  title  = {DeblurGS: Gaussian Splatting for Camera Motion Blur},
  author = {Jeongtaek Oh and Jaeyoung Chung and Dongwoo Lee and Kyoung Mu Lee},
  journal= {arXiv preprint arXiv:2404.11358},
  year   = {2024}
}