中文

Portrait4D:利用合成数据学习单样本四维头部化身合成

计算机视觉与模式识别 2024-06-04 v2

摘要

现有的单样本四维头部合成方法通常借助3DMM重建从单目视频中学习,然而后者同样具有挑战性,限制了它们实现合理的四维头部合成。我们提出一种通过大规模合成数据学习单样本四维头部合成的方法。关键在于首先通过对抗学习从单目图像学习一个分块的4D生成模型,以合成具有多样身份和完整动作的多视角图像作为训练数据;然后利用基于Transformer的可驱动三平面重建器,使用合成数据学习四维头部重建。我们采用一种新颖的学习策略,通过解耦3D重建与重演的学习过程,增强对真实图像的泛化能力。实验证明了我们相对于现有方法的优越性。

关键词

引用

@article{arxiv.2311.18729,
  title  = {Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data},
  author = {Yu Deng and Duomin Wang and Xiaohang Ren and Xingyu Chen and Baoyuan Wang},
  journal= {arXiv preprint arXiv:2311.18729},
  year   = {2024}
}

备注

CVPR24 camera ready version. Project page: https://yudeng.github.io/Portrait4D/