CAP4D：利用可形变多视图扩散模型创建可动画的 4D 肖像化身

从图像重建逼真且动态的肖像化身对于广告、视觉特效和虚拟现实等许多应用至关重要。根据应用的不同，化身重建涉及不同的捕捉设置和约束 $-$ 例如，视觉特效工作室使用摄像机阵列捕捉数百张参考图像，而内容创作者可能希望为从互联网下载的单张肖像图像制作动画。因此，存在一个庞大且异构的化身重建方法生态系统。基于多视图立体或神经渲染的技术实现了最高质量的结果，但需要数百张参考图像。最近的生成模型从单张参考图像生成了令人信服的化身，但视觉保真度仍落后于多视图技术。在此，我们提出 CAP4D：一种使用可形变多视图扩散模型从任意数量的参考图像（即 1 到 100 张）重建逼真 4D（动态 3D）肖像化身，并对其进行实时动画化和渲染的方法。我们的方法在单张、少样本和多图像 4D 肖像化身重建中展示了 SOTA 性能，并采取了措施以弥合单图像和多视图重建技术在视觉保真度上的差距。