中文

KeyGS:基于关键帧的单摄影图序列高斯溅射方法

计算机视觉与模式识别 2024-12-31 v1 人工智能

摘要

从稀疏二维图像重建高质量3D模型一直是计算机视觉中的热门研究方向。最近,3D高斯溅射(3DGS)因其显式表示、高效训练速度和实时渲染能力而受到关注。然而,现有方法仍严依赖于准确的相机姿态进行重建。虽然有些近期方法尝试在单摄影视频数据集上训练3DGS模型而无需结构从运动(SfM)预处理,但这些方法 suffer 从长时间训练,难以满足实际应用需求。本文提出了一个高效框架,无需任何深度或匹配模型。该框架首先利用SfM在秒级内快速获取粗略的相机姿态,然后通过利用3DGS的稠密表示对这些姿态进行细化。该框架有效解决了训练时间延长的问题。此外,我们将密集化过程与联合细化集成,提出了粗到细频率感知密集化方法,以重建不同层次的细节。该方法防止了相机姿态估计被高频信号陷入局部最小值或漂移。我们的方法将训练时间从数小时缩短至数分钟,同时在新视图合成和相机姿态估计方面优于先前方法。

关键词

引用

@article{arxiv.2412.20767,
  title  = {KeyGS: A Keyframe-Centric Gaussian Splatting Method for Monocular Image Sequences},
  author = {Keng-Wei Chang and Zi-Ming Wang and Shang-Hong Lai},
  journal= {arXiv preprint arXiv:2412.20767},
  year   = {2024}
}

备注

AAAI 2025