中文

AniGS:从单张图像生成可动画高斯人形,面临不一致的高斯重建问题

计算机视觉与模式识别 2024-12-04 v1 人工智能

摘要

从单张图像生成可动画的人类头像对于各种数字人类建模应用至关重要。现有的3D重建方法往往难以捕捉可动画模型中细节,而基于生成式的方法虽然避免了显式的3D建模,但在极端姿势下的视点不一致性和计算效率方面存在挑战。本文通过利用生成式模型产生详细的多视角标准姿态图像,以解决可动画人类重建中的歧义问题。我们提出了一种用于处理不一致图像的3D重建方法,使其在推理期间实现实时渲染。具体而言,我们改造了基于Transformer的视频生成模型,用于生成多视角标准姿态图像和法线图,并在大规模视频数据集上进行预训练以提高泛化能力。为处理视点不一致性,我们将重建问题重新表述为4D任务,引入基于4D高斯溅写的高效3D建模方法。实验表明,我们的方法能够从野生图像中实现人类3D头像的照片级逼真实时动画,展示了其有效性和泛化能力。

关键词

引用

@article{arxiv.2412.02684,
  title  = {AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction},
  author = {Lingteng Qiu and Shenhao Zhu and Qi Zuo and Xiaodong Gu and Yuan Dong and Junfei Zhang and Chao Xu and Zhe Li and Weihao Yuan and Liefeng Bo and Guanying Chen and Zilong Dong},
  journal= {arXiv preprint arXiv:2412.02684},
  year   = {2024}
}

备注

Project Page: https://lingtengqiu.github.io/2024/AniGS/