通过多模态引导扩散模型克服真实人脸修复中的错误幻觉

我们介绍一种新型多模态引导真实人脸修复（MGFR）技术，旨但提高从低质量输入恢复人脸图像的质量。利用属性文本提示、高质量参考图像和身份信息的融合，MGFR 可缓解生成式人脸修复方法常伴随的虚假人脸属性和身份问题。通过引入双控制适配器和两阶段训练策略，我们的方法有效利用多模态先验信息完成针对性修复任务。我们还构建了 Reface-HQ 数据集，包含超过 21,000 张分辨率更高的人脸图像，覆盖 4800 个身份，以满足参考人脸训练图像的需求。我们的方法在严重退化情形下实现了卓越的视觉质量，允许受控修复过程，增强身份保留和属性纠正的准确性。包括负质量样本和属性提示的训练进一步细化了模型生成详细且感知上准确图像的能力。