Portrait4D-v2：伪多视图数据创造更优的4D头部合成器

在本文中，我们提出了一种用于前馈式单样本4D头部化身合成的新型学习方法。与现有方法通常通过3D形变模型（3DMM）引导的单目视频重建来学习不同，我们采用伪多视图视频，以数据驱动的方式学习4D头部合成器，避免依赖可能对合成性能有害的不精确3DMM重建。其核心思想是首先利用合成多视图图像学习一个3D头部合成器，将单目真实视频转换为多视图视频，然后利用这些伪多视图视频，通过跨视图自驱动重演来学习4D头部合成器。通过利用一个简单的视觉Transformer骨干网络和运动感知交叉注意力机制，我们的方法在重建保真度、几何一致性和运动控制精度方面，相较于先前方法展现出优越的性能。我们希望我们的方法能为整合3D先验与2D监督以改进4D头部化身创建提供新的见解。