预训练扩散模型暗藏修复能力

预训练扩散模型已在全合一修复（All-in-One Restoration, AiOR）中取得了显著进展，提供了改进的感知质量和泛化能力。然而，基于扩散的修复方法主要依赖微调或 Control-Net 风格的模块来利用预训练扩散模型的先验知识以实现 AiOR。在本工作中，我们表明这些预训练扩散模型本质上具有修复行为，可以通过直接在文本编码器输出处学习提示嵌入来解锁。值得注意的是，这种行为在很大程度上无法通过文本提示和文本令牌嵌入优化来访问。此外，我们观察到朴素的提示学习是不稳定的，因为使用退化图像的前向加噪过程与反向采样轨迹不一致。为了解决这一问题，我们在扩散桥接框架中训练提示，使训练与推理动态对齐，强制从噪声退化状态到干净图像的一致去噪路径。基于这些洞察，我们在预训练的 WAN 视频模型和 FLUX 图像模型上引入轻量级学习提示，将它们转换为高性能修复模型。大量实验表明，我们的方法在多样化退化条件下取得了具有竞争力的性能和泛化能力，同时避免了微调和修复专用控制模块。