MIMAFace：通过运动-身份调制外观特征学习的人脸动画
计算机视觉与模式识别
2024-09-24 v1
摘要
当前基于扩散的人脸动画方法通常采用ReferenceNet（U-Net的副本）和大量精心策划的自采集数据来学习外观特征，因为鲁棒的外观特征对于确保时间稳定性至关重要。然而，当在公共数据集上训练时，结果在图像质量和时间一致性方面通常表现出明显的性能差距。为了解决这个问题，我们仔细研究了人脸动画任务中的基本外观特征，包括与运动无关的（例如，服装、背景）和与运动相关的（例如，面部细节）纹理组件，以及高级判别性身份特征。基于此分析，我们引入了一个运动-身份调制外观学习模块（MIA），该模块在运动和身份两个层面上调制CLIP特征。此外，为了解决片段之间的语义/颜色不连续性问题，我们设计了一个片段间亲和力学习模块（ICA）来建模跨片段的时间关系。我们的方法实现了精确的面部运动控制（即表情和注视）、忠实的身份保持，并生成了保持片段内/片段间时间一致性的动画视频。此外，它易于适应各种模态的驱动源。大量实验证明了我们方法的优越性。
引用
@article{arxiv.2409.15179,
title = {MIMAFace: Face Animation via Motion-Identity Modulated Appearance Feature Learning},
author = {Yue Han and Junwei Zhu and Yuxiang Feng and Xiaozhong Ji and Keke He and Xiangtai Li and zhucun xue and Yong Liu},
journal= {arXiv preprint arXiv:2409.15179},
year = {2024}
}