InfoBFR：基于信息瓶颈的现实无监督人脸修复
计算机视觉与模式识别
2025-01-28 v1
摘要
无监督人脸修复（BFR）是一个因数据退化模式不确定性而面临巨大挑战的领域。当前的BFR方法虽然已实现一定的修复结果，但存在固有的神经网络退化问题，限制了其在复杂场景中的实际应用。本文提出一种插即插式框架InfoBFR，用于解决神经网络退化问题，如先验偏差、拓扑畸变、纹理畸变和残留伪影，实现了在多样化野生和异构场景下的高通用性人脸修复。具体而言，基于预训练的BFR模型结果，InfoBFR通过采用流形信息瓶颈（MIB）进行信息压缩，结合高效扩散LoRA进行信息补偿，从而实现信息优化。InfoBFR能够在不引入属性和身份畸变的情况下合成高保真人脸。综合实验结果表明，InfoBFR在GAN类和扩散类BFR方法中均表现出优势，耗时约70ms，参数量为16M，BFR性能提升约85%。InfoBFR有望成为第一个被多样化BFR模型普遍采用的插即式修复器，解决神经网络退化问题。
引用
@article{arxiv.2501.15443,
title = {InfoBFR: Real-World Blind Face Restoration via Information Bottleneck},
author = {Nan Gao and Jia Li and Huaibo Huang and Ke Shang and Ran He},
journal= {arXiv preprint arXiv:2501.15443},
year = {2025}
}