中文

GAvatar:具有隐式网格学习的可动画 3D 高斯化身

计算机视觉与模式识别 2024-04-01 v2 图形学 机器学习

摘要

高斯泼溅(Gaussian splatting)已成为一种强大的 3D 表示方法,兼具显式(网格)和隐式(NeRF)3D 表示的优势。在本文中,我们寻求利用高斯泼溅从文本描述生成逼真的可动画化身,以解决基于网格或 NeRF 的表示所施加的局限性(例如灵活性和效率)。然而,朴素地应用高斯泼溅无法生成高质量的可动画化身,且存在学习不稳定的问题;它也无法捕捉精细的化身几何结构,常导致身体部位退化。为解决这些问题,我们首先提出了一种基于图元的 3D 高斯表示,其中高斯分布在姿态驱动的图元内部以促进动画生成。其次,为了稳定并分摊数百万个高斯的学习过程,我们提出使用神经隐式场来预测高斯属性(例如颜色)。最后,为了捕捉精细的化身几何结构并提取详细网格,我们提出了一种针对 3D 高斯的新型基于 SDF 的隐式网格学习方法,该方法正则化底层几何结构并提取高度详细的纹理网格。我们提出的方法 GAvatar 能够仅使用文本提示大规模生成多样化的可动画化身。GAvatar 在外观和几何质量方面均显著超越现有方法,并在 1K 分辨率下实现了极快的渲染速度(100 fps)。

关键词

引用

@article{arxiv.2312.11461,
  title  = {GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning},
  author = {Ye Yuan and Xueting Li and Yangyi Huang and Shalini De Mello and Koki Nagano and Jan Kautz and Umar Iqbal},
  journal= {arXiv preprint arXiv:2312.11461},
  year   = {2024}
}

备注

CVPR 2024. Project website: https://nvlabs.github.io/GAvatar