ReF-LDM: 一种基于参考的潜变量扩散模型用于人脸图像修复
计算机视觉与模式识别
2024-12-09 v1 机器学习
图像与视频处理
摘要
虽然近期关于盲人脸图像修复的研究已成功从低质量输入图像中生成具有丰富细节的高质量图像，但生成的内容可能无法准确反映一个人的真实外观。为解决这一问题，将拍摄良好的个人图像作为额外的参考输入是一种很有前景的策略。受潜变量扩散模型近期成功的启发，我们提出了 ReF-LDM，这是一种针对潜变量扩散模型的改进，旨在根据一张低质量图像和多张高质量参考图像生成高质量人脸图像。我们的模型集成了一个高效且有效的机制 CacheKV，用于在生成过程中利用参考图像。此外，我们设计了一种时间步缩放的身份损失，使基于 LDM 的模型能够专注于学习人脸的判别特征。最后，我们构建了 FFHQ-Ref，一个包含 20,405 张高质量人脸图像及其对应参考图像的数据集，可作为基于参考的人脸修复模型的训练和评估数据。
引用
@article{arxiv.2412.05043,
title = {ReF-LDM: A Latent Diffusion Model for Reference-based Face Image Restoration},
author = {Chi-Wei Hsiao and Yu-Lun Liu and Cheng-Kun Yang and Sheng-Po Kuo and Kevin Jou and Chia-Ping Chen},
journal= {arXiv preprint arXiv:2412.05043},
year = {2024}
}
备注
NeurIPS 2024, project page https://chiweihsiao.github.io/refldm.github.io/