MagicFace：基于动作单元控制的高保真面部表情编辑
计算机视觉与模式识别
2025-11-21 v3
摘要
我们解决面部表情编辑的问题，通过控制同一人脸的面部动作单元（AU）的相对变化。这样我们能够在保持其身份、姿态、背景和详细面部属性的前提下，对特定人的表情进行细粒度、连续且可解释的编辑。我们称之为 MagicFace 的模型的关键在于以 AU 变化为条件的扩散模型以及用于保持面部高一致性细节的 ID 编码器。具体而言，为了保持输入身份的面部细节，我们利用预训练的 Stable-Diffusion 模型的强大功能，并设计一个 ID 编码器通过自注意力机制融合外观特征。为了保持背景和姿态的一致性，我们引入了一个高效的属性控制器，通过明确告知模型当前的背景和姿态来实现。通过将 AU 变化注入去噪 UNet，我们的模型能够对任意身份进行动画处理，支持各种 AU 组合，相较于其他面部表情编辑方法，在高保真度表情编辑方面表现优异。代码已公开于 https://github.com/weimengting/MagicFace。
引用
@article{arxiv.2501.02260,
title = {MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control},
author = {Mengting Wei and Tuomas Varanka and Xingxun Jiang and Huai-Qian Khor and Guoying Zhao},
journal= {arXiv preprint arXiv:2501.02260},
year = {2025}
}