基于深度平衡扩散修复的并行采样
计算机视觉与模式识别
2024-04-01 v2
摘要
基于扩散模型的图像修复（IR）旨在利用扩散模型从退化图像中恢复高质量（HQ）图像，取得了令人瞩目的性能。由于扩散模型的固有特性，大多数现有方法需要冗长的串行采样链逐步恢复 HQ 图像，导致昂贵的采样时间与高计算成本。此外，此类长采样链阻碍了对输入与修复结果之间关系的理解，因为难以在整个链中计算梯度。本工作中，我们旨在通过不同视角——即称为 DeqIR 的深度平衡（DEQ）不动点系统——重新思考基于扩散模型的 IR 模型。具体而言，我们将这些 IR 模型中的整个采样链建模为一个联合多元不动点系统，并推导出解析解。基于该解析解，我们可进行并行采样并在无需训练的情况下恢复 HQ 图像。此外，我们通过 DEQ 反演计算快速梯度，发现初始化优化可提升图像质量并控制生成方向。在基准上的大量实验证明了我们的方法在典型 IR 任务与真实场景中的有效性。
引用
@article{arxiv.2311.11600,
title = {Deep Equilibrium Diffusion Restoration with Parallel Sampling},
author = {Jiezhang Cao and Yue Shi and Kai Zhang and Yulun Zhang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2311.11600},
year = {2024}
}
备注
CVPR'2024