InstaFace：基于单图推理的保身份人脸编辑
计算机视觉与模式识别
2025-03-10 v3
摘要
人脸外观编辑对于数字虚拟人、AR/VR 和个性化内容创作至关重要，推动了逼真的用户体验。然而，在使用生成模型时保持身份具有挑战性，尤其是在数据可用性有限的场景中。传统方法通常需要多张图像，并且仍然难以处理不自然的人脸偏移、不一致的头发对齐或过度的平滑效果。为了克服这些挑战，我们引入了一种新颖的基于扩散的框架 InstaFace，仅使用单张图像即可生成逼真图像并保持身份。InstaFace 的核心是一个高效的引导网络，它通过集成多个基于 3DMM 的条件来利用 3D 视角，且不引入额外的可训练参数。此外，为了确保最大程度地保留身份以及背景、头发和其他上下文特征（如配饰），我们引入了一个新颖的模块，该模块利用来自人脸识别模型和预训练视觉语言模型的特征嵌入。定量评估表明，我们的方法在身份保持、照片级真实感以及对姿态、表情和光照的有效控制方面优于几种 state-of-the-art 方法。
引用
@article{arxiv.2502.20577,
title = {InstaFace: Identity-Preserving Facial Editing with Single Image Inference},
author = {MD Wahiduzzaman Khan and Mingshan Jia and Xiaolin Zhang and En Yu and Caifeng Shan and Kaska Musial-Gabrys},
journal= {arXiv preprint arXiv:2502.20577},
year = {2025}
}