中文

生成式即插即用:面向逆问题的后验采样

计算机视觉与模式识别 2023-06-14 v1 图像与视频处理

摘要

在过去十年中,即插即用(Plug-and-Play, PnP)已成为一种流行的图像重建方法,其采用由前向模型与先验模型组成的模块化框架。PnP 的巨大优势在于可使用图像去噪器作为先验模型,而前向模型可使用更传统的基于物理的方法实现。然而,PnP 的局限在于其仅能重建单一确定性图像。在本文中,我们引入生成式即插即用(Generative Plug-and-Play, GPnP),作为 PnP 从后验分布中采样的推广。与 PnP 相同,GPnP 具有使用基于物理的前向模型与图像去噪先验模型的模块化框架。但在 GPnP 中,这些模型被扩展为近端生成器(proximal generator),从相关分布中采样。GPnP 交替应用这些近端生成器以从后验中产生样本。我们采用著名的 BM3D 去噪器进行实验仿真。我们的结果表明,GPnP 方法鲁棒、易于实现,并为稀疏插值与层析重建从后验中生成直观合理的样本。本文配套代码见 https://github.com/gbuzzard/generative-pnp-allerton 。

关键词

引用

@article{arxiv.2306.07233,
  title  = {Generative Plug and Play: Posterior Sampling for Inverse Problems},
  author = {Charles A. Bouman and Gregery T. Buzzard},
  journal= {arXiv preprint arXiv:2306.07233},
  year   = {2023}
}

备注

8 pages, submitted to 2023 IEEE Allerton Conference