中文

BAGS:利用扩散先验从单目视频构建可动画化高斯溅射

计算机视觉与模式识别 2024-03-19 v1

摘要

可动画化三维重建在多个领域具有重要应用,主要依赖艺术家的手工创作。近期,一些研究已成功从单目视频构建可动画化三维模型。然而,这些方法要求输入视频中目标物体具有充分的视角覆盖,并且通常需要大量的时间和计算成本进行训练和渲染。这一局限性限制了其实际应用。在本工作中,我们提出了一种利用扩散先验从单目视频构建可动画化三维高斯溅射(3D Gaussian Splatting)的方法。三维高斯表示显著加速了训练和渲染过程,而扩散先验使该方法能够在有限视角下学习三维模型。我们还提出了刚性正则化以增强先验的利用。我们在各种真实世界视频上进行了广泛评估,证明其性能优于当前最先进的方法。

关键词

引用

@article{arxiv.2403.11427,
  title  = {BAGS: Building Animatable Gaussian Splatting from a Monocular Video with Diffusion Priors},
  author = {Tingyang Zhang and Qingzhe Gao and Weiyu Li and Libin Liu and Baoquan Chen},
  journal= {arXiv preprint arXiv:2403.11427},
  year   = {2024}
}

备注

https://talegqz.github.io/BAGS/