DR-BFR：基于扩散模型的退化表示用于盲人脸复原
计算机视觉与模式识别
2024-11-19 v1
摘要
盲人脸复原（BFR）面临的根本挑战是影响模型泛化的退化类型和程度范围广泛。扩散模型的最新进展在该领域取得了显著进步。然而，一个关键局限在于其缺乏对特定退化的感知，导致潜在问题如不自然的细节和不准确的纹理。本文通过无监督对比学习与重建损失，赋予扩散模型从低质量（LQ）人脸图像中解耦各类退化作为退化提示的能力，并证明该能力显著提升了性能，特别是在复原图像的自然度方面。我们提出的新型复原方案 DR-BFR，通过融合来自 LQ 图像的退化表示（DR）和内容特征，引导潜在扩散模型（LDM）的去噪过程。DR-BFR 包含两个模块：1) 退化表示模块（DRM）：该模块从 LQ 人脸中提取与内容无关的特征作为退化表示，并通过对比学习和专门设计的 LQ 重建在退化空间中估计合理分布。2) 潜在扩散复原模块（LDRM）：该模块在潜在空间中同时感知退化特征和内容特征，实现从 LQ 输入到高质量图像的复原。实验表明，DR-BFR 在多个数据集上从定量和定性两方面均显著优于最先进方法。DR 能有效区分盲人脸逆问题中的各类退化，并为 LDM 提供相当有力的提示。
引用
@article{arxiv.2411.10508,
title = {DR-BFR: Degradation Representation with Diffusion Models for Blind Face Restoration},
author = {Xinmin Qiu and Bonan Li and Zicheng Zhang and Congying Han and Tiande Guo},
journal= {arXiv preprint arXiv:2411.10508},
year = {2024}
}