中文

DMPlug: 一种使用扩散模型解决逆问题的插件方法

机器学习 2024-11-07 v2 计算机视觉与模式识别

摘要

预训练扩散模型最近被广泛用于解决逆问题。现有方法大多在反向扩散过程中交替进行迭代步骤和使迭代更接近满足测量约束的迭代步骤。然而,这种交替方法难以产生看起来像自然感兴趣对象(即流形可行性)并符合测量(即测量可行性)的最终结果,特别是对于非线性逆问题。此外,它们处理具有未知类型和水平的测量噪声的噪声逆问题的能力未知。在本文中,我们主张将扩散模型中的反向过程视为一个函数,并提出一种新的使用预训练扩散模型解决逆问题的插件方法,称为DMPlug。DMPlug以原则性的方式解决了流形可行性和测量可行性问题,并且对未知类型和水平的噪声具有很好的鲁棒性潜力。通过在包括两个线性和三个非线性逆问题的各种逆任务上的广泛实验,我们证明DMPlug始终优于最先进的方法,尤其是在非线性逆问题上通常有较大优势。代码可在https://github.com/sun-umn/DMPlug获取。

关键词

引用

@article{arxiv.2405.16749,
  title  = {DMPlug: A Plug-in Method for Solving Inverse Problems with Diffusion Models},
  author = {Hengkang Wang and Xu Zhang and Taihui Li and Yuxiang Wan and Tiancong Chen and Ju Sun},
  journal= {arXiv preprint arXiv:2405.16749},
  year   = {2024}
}

备注

Published in NeurIPS 2024 (https://openreview.net/forum?id=81IFFsfQUj)