DynamicFace：基于可组合 3D 面部先验进行图像和视频的高质量一致性换脸
人工智能
2025-03-14 v2 图形学
人机交互
机器学习
摘要
换脸将源面部身份转移到目标面部上，同时保留表情、姿态、发型和背景等属性。高级换脸方法已取得引人注目的成果。然而，这些方法常不经意地转移目标面部的身份信息，导致表情细节受损且身份不准确。我们提出一种新方法 DynamicFace，利用扩散模型和即插即用的自适应注意力层进行图像和视频换脸。首先，我们引入四个细粒度面部条件，利用 3D 面部先验设计，这些条件彼此解耦，以实现精确且唯一的控制。随后，我们采用 Face Former 和 ReferenceNet 实现高层次和细节身份注入。通过 FF++ 数据集上的实验，我们展示了该方法在换脸任务中实现了最先进的成果，展现了卓越的图像质量、身份保持和表情精确度。我们的框架无缝适应图像和视频领域。我们的代码和结果将在项目页面发布：https://dynamic-face.github.io/
引用
@article{arxiv.2501.08552,
title = {Reinforcement Learning-Enhanced Procedural Generation for Dynamic Narrative-Driven AR Experiences},
author = {Aniruddha Srinivas Joshi},
journal= {arXiv preprint arXiv:2501.08552},
year = {2025}
}
备注
Published in Proceedings of the 20th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - GRAPP 2025 https://www.scitepress.org/PublicationsDetail.aspx?ID=LfPv9Lfiya8=&t=1