DiffMAC: 面向高泛化盲人脸恢复的扩散流形幻觉校正
计算机视觉与模式识别
2024-03-18 v1
摘要
盲人脸恢复（BFR）由于退化模式的不确定性是一个极具挑战性的问题。当前方法在逼真域和异质域上的泛化能力较低。在本文中，我们提出了一种扩散-信息-扩散（DID）框架来解决扩散流形幻觉校正（DiffMAC）问题，该框架在多样化的退化场景和异质域中实现了高泛化的人脸恢复。具体来说，第一个扩散阶段基于AdaIN将恢复后的人脸与低质量人脸的空间特征嵌入对齐，这合成了去除退化的结果，但对于某些困难情况会产生不可控的伪影。基于第一阶段，第二阶段考虑使用流形信息瓶颈（MIB）进行信息压缩，并微调第一个扩散模型以提高人脸保真度。DiffMAC有效对抗盲退化模式，并合成具有属性和身份一致性的高质量人脸。实验结果表明，DiffMAC在真实世界和异质设置中优于最先进的方法，具有高度的泛化能力。源代码和模型将公开。
引用
@article{arxiv.2403.10098,
title = {DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration},
author = {Nan Gao and Jia Li and Huaibo Huang and Zhi Zeng and Ke Shang and Shuwu Zhang and Ran He},
journal= {arXiv preprint arXiv:2403.10098},
year = {2024}
}
备注
15 pages, 12 figures