DifFace：基于扩散误差收缩的盲脸复原
计算机视觉与模式识别
2024-07-23 v4
摘要
尽管基于深度学习的盲脸复原方法取得了前所未有的成功，它们仍受两个主要局限的困扰。首先，大多数方法在面临超出其训练数据的复杂退化时性能下降。其次，这些方法需要多重约束，例如保真度、感知和对抗损失，需要繁琐的超参数调优以稳定和平衡其影响。在本工作中，我们提出一种名为 DifFace 的新方法，能够更优雅地处理未知和复杂退化，而无需复杂的损失设计。我们方法的关键是从观测到的低质量（LQ）图像到其高质量（HQ）对应物建立后验分布。具体而言，我们设计从 LQ 图像到预训练扩散模型中间状态的转移分布，然后通过递归应用预训练扩散模型从该中间状态逐渐传输到 HQ 目标。该转移分布仅依赖于一个在一些合成数据上以 损失训练的复原骨干网络，这有利地避免了现有方法中繁琐的训练过程。此外，该转移分布可收缩复原骨干网络的误差，从而使我们的方法对未知退化更具鲁棒性。综合实验表明，DifFace 优于当前最先进的方法，尤其在严重退化的情况下。代码和模型可在 https://github.com/zsyOAOA/DifFace 获取。
引用
@article{arxiv.2212.06512,
title = {DifFace: Blind Face Restoration with Diffused Error Contraction},
author = {Zongsheng Yue and Chen Change Loy},
journal= {arXiv preprint arXiv:2212.06512},
year = {2024}
}
备注
Accepted by TPAMI@2024. Project: https://github.com/zsyOAOA/DifFace