PFStorer：个性化人脸修复与超分辨率
计算机视觉与模式识别
2024-03-14 v1
摘要
人脸修复的最新进展在生成高质量、逼真的输出方面取得了显著成果。然而，这些令人惊叹的结果往往无法忠实于人物的身份，因为模型缺乏必要的上下文。在本文中，我们探索了利用扩散模型进行个性化人脸修复的潜力。在我们的方法中，使用身份的少量图像对修复模型进行个性化处理，从而在保留细粒度细节的同时，实现针对该身份的定制化修复。通过使用独立的可训练模块进行个性化，可以充分利用基础修复模型的丰富先验。为了避免模型依赖于条件低质量图像中残留的身份部分，采用了一个生成正则化器。通过一个可学习的参数，模型学会在基于输入图像生成的细节与个性化程度之间取得平衡。此外，我们改进了人脸修复模型的训练流程，以实现免对齐的方法。我们在多个真实世界场景中展示了该方法在多个身份上的鲁棒能力，证明了我们的方法能够生成细粒度细节并实现忠实修复。在用户研究中，我们评估了生成细节的感知质量和忠实度，我们的方法在 61% 的情况下被评为最佳，而第二好的方法获得了 25% 的选票。
引用
@article{arxiv.2403.08436,
title = {PFStorer: Personalized Face Restoration and Super-Resolution},
author = {Tuomas Varanka and Tapani Toivonen and Soumya Tripathy and Guoying Zhao and Erman Acar},
journal= {arXiv preprint arXiv:2403.08436},
year = {2024}
}