CoSIGN：一致性模型的少步引导用于求解一般逆问题
计算机视觉与模式识别
2024-07-18 v1 图像与视频处理
摘要
扩散模型已被证明是求解一般逆问题的强先验。大多数现有的基于扩散模型的逆问题求解器 (DIS) 采用即插即用的方法，通过投影或梯度来引导采样轨迹。尽管有效，但这些方法通常需要数百个采样步骤，这在推理时间和重建质量之间造成了困境。在这项工作中，我们试图将推理步骤的边界推至 1-2 次函数评估 (NFE)，同时仍保持高重建质量。为实现此目标，我们提出利用预训练的扩散模型蒸馏产物，即一致性模型，作为数据先验。实现少步引导的关键在于，在一致性模型的采样过程中施加两种类型的约束：通过 ControlNet 施加的软测量约束和通过优化施加的硬测量约束。所提出的框架支持单步重建和多步细化，进一步提供了一种以额外计算成本换取图像质量的方式。在可比的 NFE 下，我们的方法在基于扩散的逆问题求解中达到了新的最先进水平，展示了将基于先验的逆问题求解器用于实际应用的巨大潜力。代码可在以下地址获取：https://github.com/BioMed-AI-Lab-U-Michgan/cosign。
引用
@article{arxiv.2407.12676,
title = {CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems},
author = {Jiankun Zhao and Bowen Song and Liyue Shen},
journal= {arXiv preprint arXiv:2407.12676},
year = {2024}
}