运动中的高斯泼溅：针对自然相机运动的模糊与卷帘快门补偿
计算机视觉与模式识别
2024-07-18 v3
摘要
基于高斯泼溅（3DGS）的高质量场景重建和新视角合成通常需要稳定、高质量的照片，而这在使用手持相机拍摄时往往难以实现。我们提出了一种方法，该方法能够适应相机运动，并允许使用遭受运动模糊和卷帘快门畸变的手持视频数据进行高质量的场景重建。我们的方法基于对物理成像过程的详细建模，并利用通过视觉-惯性里程计（VIO）估计的速度。在单个图像帧的曝光时间内，相机姿态被视为非静态的，并且在重建过程中进一步优化相机姿态。我们构建了一个可微渲染管线，利用屏幕空间近似将卷帘快门和运动模糊效应高效地整合到3DGS框架中。我们在合成数据和真实数据上的结果表明，该方法在减轻相机运动影响方面优于现有方法，从而推动了3DGS在自然场景中的应用。
引用
@article{arxiv.2403.13327,
title = {Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion},
author = {Otto Seiskari and Jerry Ylilammi and Valtteri Kaatrasalo and Pekka Rantalankila and Matias Turkulainen and Juho Kannala and Esa Rahtu and Arno Solin},
journal= {arXiv preprint arXiv:2403.13327},
year = {2024}
}
备注
Source code available at https://github.com/SpectacularAI/3dgs-deblur