FantasyPortrait：基于表达增强扩散变换器提升多角色人物动画

从静态图像生成富有表现力的面部动画是一项具有挑战性的任务。依赖显式几何先验（例如面部关键点或 3DMM）的先前方法常在跨重现中出现伪影，难以捕捉细微情感。此外，现有方法缺乏对多角色动画的支持，因为来自不同个体的驱动特征经常相互干扰，使任务复杂化。为此，我们提出 FantasyPortrait，一个基于扩散变换器的框架，能够为单角色和多角色场景生成高保真且情感丰富的动画。我们的方法引入一种表达增强学习策略，利用隐式表示来捕捉无身份认知的面部动态，增强模型渲染细微情感的能力。对于多角色控制，我们设计一种掩码化跨注意力机制，确保独立且协调的表达生成，有效防止特征干扰。为推动该领域的研究，我们提出了 Multi-Expr 数据集和 ExprBench，这些数据集和基准测试专为训练和评估多角色人物动画而设计。广泛的实验表明，FantasyPortrait 在定量指标和定性评估方面显著优于最先进的方法，尤其在具有挑战性的跨重现和多角色情境中表现突出。我们的项目页面是 https://fantasy-amap.github.io/fantasy-portrait/。