3D流引导的可编辑肖像动画

从驾驶者到源肖像的运动迁移仍是肖像动画中的关键挑战。当前基于扩散的方法仅依据驾驶运动进行条件控制，无法捕获源到驾驶的对应关系，导致运动迁移次优。虽然流估计提供了替代方案，但从2D输入预测稠密对应关系是病态的，常产生不准确的动画。我们通过引入3D流，一种来自参数3D头部模型计算的、无需学习且几何驱动的运动对应方式来解决此问题。为将该3D先验集成到扩散模型中，我们引入3D流编码器，以查询每个目标像素的潜在3D流，以指示其回到源位置的位移。为获得与2D运动变化对齐的3D流，我们进一步提出基于深度的采样，以准确定位每个像素的对应3D点。除了高保真肖像动画， our model还支持用户指定的面部表情和头部姿态编辑。广泛实验表明，我们的方法在一致的驾驶运动迁移和忠实的源身份保持方面具有优势。