结合生成扩散先验的面向真实世界盲脸恢复
计算机视觉与模式识别
2024-03-19 v2
摘要
盲脸恢复是计算机视觉中的重要任务，因其广泛应用而受到显著关注。先前的工作主要利用面部先验来恢复人脸图像，并展示了高质量的结果。然而，由于从有限数据中获得的先验知识有限，生成逼真的面部细节仍然是一个具有挑战性的问题。在这项工作中，我们深入探讨了利用预训练的Stable Diffusion进行盲脸恢复的潜力。我们提出了BFRffusion，它经过精心设计，能够从低质量人脸图像中有效提取特征，并利用预训练Stable Diffusion的生成先验恢复逼真且忠实的面部细节。此外，我们构建了一个名为PFHQ的隐私保护人脸数据集，具有种族、性别和年龄等平衡属性。该数据集可以作为训练盲脸恢复网络的可行替代方案，有效解决通常与真实人脸数据集相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的BFRffusion在合成和真实世界的公开测试数据集上均达到了最先进的性能，并且我们的PFHQ数据集是训练盲脸恢复网络的可用资源。代码、预训练模型和数据集发布在https://github.com/chenxx89/BFRffusion。
引用
@article{arxiv.2312.15736,
title = {Towards Real-World Blind Face Restoration with Generative Diffusion Prior},
author = {Xiaoxu Chen and Jingfan Tan and Tao Wang and Kaihao Zhang and Wenhan Luo and Xiaochun Cao},
journal= {arXiv preprint arXiv:2312.15736},
year = {2024}
}