CRiM-GS:基于连续刚体运动的高斯溅射
计算机视觉与模式识别
2024-12-10 v2 人工智能
摘要
3D 高斯溅射(3DGS)因其高质量的新视角渲染而受到广泛关注,这推动了针对现实世界挑战的研究。一个关键问题是相机在曝光过程中产生的运动模糊,这会阻碍对3D场景的精确重建。本文提出了CRiM-GS(Continuous Rigid Motion-aware Gaussian Splatting),用于从运动模糊图像中重建精确的3D场景,同时保持实时渲染速度。考虑到现实世界相机运动中固有的复杂运动模式,我们使用神经常微分方程(ODE)预测连续的相机轨迹。为确保建模准确,我们采用带适当正则化的刚体变换,以保留物体的形状和尺寸。此外,我们引入一种自适应失真感知变换,以补偿潜在的非线性失真(如滚动快门效应)以及不可预测的相机运动。通过重新审视基本相机理论并利用先进的神经训练技术,我们实现了对连续相机轨迹的精确建模。大量实验表明,在基准数据集上,本方法在定量和定性方面均实现了最先进的性能。
引用
@article{arxiv.2407.03923,
title = {CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion-Blurred Images},
author = {Jungho Lee and Donghyeong Kim and Dogyoon Lee and Suhwan Cho and Minhyeok Lee and Sangyoun Lee},
journal= {arXiv preprint arXiv:2407.03923},
year = {2024}
}
备注
Project Page : https://jho-yonsei.github.io/CRiM-Gaussian/