X-Portrait: 基于分层运动注意力的表情丰富肖像动画

我们提出X-Portrait，一种创新的条件扩散模型，专为生成富有表现力和时间连贯的肖像动画而设计。具体来说，给定一张肖像作为外观参考，我们的目标是利用从驱动视频中提取的运动来驱动该肖像，捕捉高度动态和微妙的面部表情以及大范围头部运动。其核心是，我们利用预训练扩散模型的生成先验作为渲染主干，同时在ControlNet框架内通过新颖的控制信号实现细粒度的头部姿态和表情控制。与传统的粗粒度显式控制（如面部关键点）不同，我们的运动控制模块被训练为直接从原始驱动RGB输入中解释动态。通过基于补丁的局部控制模块进一步增强运动精度，该模块有效增强了对眼球位置等小尺度细微变化的运动注意力。值得注意的是，为了减轻驱动信号的身份泄露，我们使用缩放增强的跨身份图像训练运动控制模块，确保与外观参考模块的最大程度解耦。实验结果表明，X-Portrait在多种面部肖像和富有表现力的驱动序列中具有普遍有效性，并展示了其在生成具有一致身份特征的迷人肖像动画方面的能力。