Portrait4D:利用合成数据学习单样本四维头部化身合成
计算机视觉与模式识别
2024-06-04 v2
摘要
现有的单样本四维头部合成方法通常借助3DMM重建从单目视频中学习,然而后者同样具有挑战性,限制了它们实现合理的四维头部合成。我们提出一种通过大规模合成数据学习单样本四维头部合成的方法。关键在于首先通过对抗学习从单目图像学习一个分块的4D生成模型,以合成具有多样身份和完整动作的多视角图像作为训练数据;然后利用基于Transformer的可驱动三平面重建器,使用合成数据学习四维头部重建。我们采用一种新颖的学习策略,通过解耦3D重建与重演的学习过程,增强对真实图像的泛化能力。实验证明了我们相对于现有方法的优越性。
引用
@article{arxiv.2311.18729,
title = {Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data},
author = {Yu Deng and Duomin Wang and Xiaohang Ren and Xingyu Chen and Baoyuan Wang},
journal= {arXiv preprint arXiv:2311.18729},
year = {2024}
}
备注
CVPR24 camera ready version. Project page: https://yudeng.github.io/Portrait4D/