基于扩散先验插值的灵活实用面部超分辨率

扩散模型代表了生成式建模的前沿。由于其高昂的训练成本，许多研究利用预训练扩散模型的强大表示进行下游任务，如面部超分辨率 (FSR)，通过微调或基于先验的方法。然而，仅依赖先验而不进行监督训练会难以满足判别任务像素级精度要求。尽管基于先验的方法可以实现高保真度和高质量的结果，但确保一致性仍是一个重大挑战。本文提出了一种具有强约束与弱约束的掩码策略，以及迭代细化方法，用于实用 FSR，称为扩散先验插值 (DPI)。我们基于面部结构特征，在不同的采样阶段对掩码进行条件化和约束化，从而在一致性方面建立条件。进而，我们提出了条件纠正器 (CRT)，以建立逆向后验采样过程，通过条件与样本之间的相互细化来提升 FSR 性能。DPI 能在一致性与多样性之间取得平衡，并可无缝集成到预训练模型中。在针对合成数据与真实数据进行的大量实验中，以及在面部识别中的一致性验证中，DPI 显示优于当前 SOTA FSR 方法的优势。代码已公开于 \url{https://github.com/JerryYann/DPI}。