LAFR：基于隐空间码本对齐适配器的高效扩散盲人脸修复
计算机视觉与模式识别
2025-05-30 v1
摘要
从低质量（LQ）图像中进行盲人脸修复是一项具有挑战性的任务，不仅需要高保真图像重建，还需要保持人脸身份。虽然 Stable Diffusion 等扩散模型在生成高质量（HQ）图像方面展现出潜力，但其 VAE 模块通常仅在 HQ 数据上训练，导致在编码 LQ 输入时出现语义错位。这种不匹配显著削弱了去噪过程中 LQ 条件的有效性。现有方法通常通过重新训练 VAE 编码器来解决此问题，但这在计算上昂贵且内存密集。为高效解决这一局限性，我们提出了 LAFR（用于人脸修复的隐空间对齐），这是一种新颖的基于码本的隐空间适配器，可将 LQ 图像的隐空间分布与 HQ 对应图像对齐，从而在不改变原始 VAE 的情况下实现语义一致的扩散采样。为进一步增强身份保持，我们引入了一种结合身份嵌入和人脸结构先验约束的多级修复损失。此外，通过利用人脸图像固有的结构规律性，我们展示了仅在 FFHQ 数据集 0.9% 的数据上对扩散先验进行轻量级微调，便足以获得与 SOTA 方法相当的结果，并将训练时间减少 70%。在合成和真实世界人脸修复基准上的大量实验证明了 LAFR 的有效性和高效性，实现了从严重退化输入中重建高质量、保持身份的人脸。
引用
@article{arxiv.2505.23462,
title = {LAFR: Efficient Diffusion-based Blind Face Restoration via Latent Codebook Alignment Adapter},
author = {Runyi Li and Bin Chen and Jian Zhang and Radu Timofte},
journal= {arXiv preprint arXiv:2505.23462},
year = {2025}
}