中文

GPAvatar:从单张或多张图像生成可泛化且精确的头部虚拟人

计算机视觉与模式识别 2024-01-19 v1

摘要

头部虚拟人重建对虚拟现实、在线会议、游戏和电影等应用至关重要,已在计算机视觉领域引起广泛关注。该领域的根本目标是忠实地重建头部虚拟人并精确控制表情和姿态。现有方法分为基于 2D 的变形、基于网格的方法和神经渲染方法,在保持多视角一致性、融合非面部信息以及泛化到新身份方面存在挑战。在本文中,我们提出了一个名为 GPAvatar 的框架,能够在单次前向传播中从一张或几张图像重建 3D 头部虚拟人。这项工作的核心思想是引入一个由点云驱动的基于动态点的表情场,以精确有效地捕捉表情。此外,我们在三平面规范场中使用了多三平面注意力融合模块,以利用来自多张输入图像的信息。所提出的方法实现了忠实的身份重建、精确的表情控制和多视角一致性,在自由视角渲染和新视角合成方面展现出良好的效果。

关键词

引用

@article{arxiv.2401.10215,
  title  = {GPAvatar: Generalizable and Precise Head Avatar from Image(s)},
  author = {Xuangeng Chu and Yu Li and Ailing Zeng and Tianyu Yang and Lijian Lin and Yunfei Liu and Tatsuya Harada},
  journal= {arXiv preprint arXiv:2401.10215},
  year   = {2024}
}

备注

ICLR 2024, code is available at https://github.com/xg-chu/GPAvatar