基于身份保持潜在扩散模型的人脸图像 inpainting
计算机视觉与模式识别
2026-05-19 v1
摘要
人脸图像 inpainting 技术以视觉上逼真的方式恢复缺失或遮挡的面部区域，但在最终输出中保持身份一致性仍是一个根本性挑战。身份一致性对于人脸识别、数字取证和人机交互等下游应用至关重要，甚至细微的身份失真都可能显著降低性能或信任度。虽然扩散生成模型最近在图像 inpainting 方面取得了显著进展，但它们往往难以忠实保留个体特定的面部特征。另一方面，现有的身份感知方法通常依赖高昂的微调、辅助监督，或对多样化的遮挡、姿态和面部变体表现有限。为克服这些限制，我们提出了 ID-ControlNet，这是一个基于潜在扩散模型构建的身份保持人脸图像 inpainting 框架。基于 ControlNet 架构，我们的方法将扩散过程条件化于从预训练人脸识别网络中提取的面部身份嵌入。这一设计使我们能够在保持整体面部连贯性和身份忠实度的同时，重建被遮挡的面部区域。此外，我们引入了身份一致性和三角损失训练策略，显式强制生成的人脸与目标身份表示之间的对齐。在 CelebA-HQ、FFHQ 以及一个新的 E-Mask 数据集上的大量实验表明，ID-ControlNet 在标准基于扩散的方法的人脸图像 inpainting 中显著提高了身份保持效果，性能可与 SOTA 身份感知方法相当。
引用
@article{arxiv.2605.16696,
title = {Face inpainting with Identity Preserving Latent Diffusion Models},
author = {João Santos and Carlos Santiago and Manuel Marques},
journal= {arXiv preprint arXiv:2605.16696},
year = {2026}
}