FaceMe：基于个人身份识别的鲁棒盲面人脸修复
计算机视觉与模式识别
2025-01-13 v2
摘要
盲面人脸修复是一个高度欠定问题，因缺乏必要的上下文信息。虽然现有方法可产生高质量输出，但常未能忠实保留个体身份。本文提出一种基于扩散模型的个性化人脸修复方法 FaceMe。给定单个或少数参考图像，我们使用身份编码器提取身份相关特征，作为提示引导扩散模型恢复高质量且身份一致的面部图像。通过简单组合身份特征，我们有效最小化身份无关特征在训练中的影响，支持推理阶段任意数量的参考图像输入。此外，凭借身份编码器的鲁棒性，可将合成图像作为训练参考图像使用，推理期间身份变化无需重新训练模型。我们还构建了一个参考图像训练池，模拟真实场景中可能出现的姿态与表情。实验结果表明，FaceMe 能在保持身份一致性的同时实现高质量人脸图像修复，性能卓越且具鲁棒性。
引用
@article{arxiv.2501.05177,
title = {FaceMe: Robust Blind Face Restoration with Personal Identification},
author = {Siyu Liu and Zheng-Peng Duan and Jia OuYang and Jiayi Fu and Hyunhee Park and Zikun Liu and Chun-Le Guo and Chongyi Li},
journal= {arXiv preprint arXiv:2501.05177},
year = {2025}
}
备注
To appear at AAAI 2025