IQPFR：一种用于盲人脸修复及更广泛应用的图像质量先验
计算机视觉与模式识别
2025-03-13 v1
摘要
盲人脸修复（BFR）旨在应对将退化的低质量（LQ）人脸图像重建为高质量（HQ）输出的挑战。传统方法主要依赖从真实数据（GT）中学习特征表示；然而，GT 数据集中固有的不完美将恢复性能限制在训练数据的平均质量水平，而非达到最大可实现的视觉质量。为克服这一局限，我们提出了一种融合来自无参考图像质量评估（NR-IQA）模型的图像质量先验（IQP）来引导恢复过程朝向最优 HQ 重建的新框架。我们的方法通过两项关键创新将 IQP 与学习到的码本先验协同融合：（1）在码本学习阶段，我们设计了一种双分支码本架构，将特征提取解耦为通用结构成分和 HQ 特有属性，确保对常见和高质量人脸特征的全面表示。（2）在码本查询阶段，我们实现了一个由质量条件驱动的基于 Transformer 的框架。NR-IQA 导出的质量分数作为动态条件信号，引导恢复朝向最高可行的质量标准。这种分数条件范式可以在不修改原始结构的情况下即插即用地增强现有 BFR 架构。我们还提出了一种基于离散表示的质量优化策略，规避了连续潜空间方法中普遍存在的过度优化伪影。大量实验表明，我们的方法在多个基准上超越了最先进的技术。此外，我们的质量条件框架在集成到现有 BFR 模型中时展现出持续的性能提升。代码将公开发布。
引用
@article{arxiv.2503.09294,
title = {IQPFR: An Image Quality Prior for Blind Face Restoration and Beyond},
author = {Peng Hu and Chunming He and Lei Xu and Jingduo Tian and Sina Farsiu and Yulun Zhang and Pei Liu and Xiu Li},
journal= {arXiv preprint arXiv:2503.09294},
year = {2025}
}