生成式即插即用:面向逆问题的后验采样
计算机视觉与模式识别
2023-06-14 v1 图像与视频处理
摘要
在过去十年中,即插即用(Plug-and-Play, PnP)已成为一种流行的图像重建方法,其采用由前向模型与先验模型组成的模块化框架。PnP 的巨大优势在于可使用图像去噪器作为先验模型,而前向模型可使用更传统的基于物理的方法实现。然而,PnP 的局限在于其仅能重建单一确定性图像。在本文中,我们引入生成式即插即用(Generative Plug-and-Play, GPnP),作为 PnP 从后验分布中采样的推广。与 PnP 相同,GPnP 具有使用基于物理的前向模型与图像去噪先验模型的模块化框架。但在 GPnP 中,这些模型被扩展为近端生成器(proximal generator),从相关分布中采样。GPnP 交替应用这些近端生成器以从后验中产生样本。我们采用著名的 BM3D 去噪器进行实验仿真。我们的结果表明,GPnP 方法鲁棒、易于实现,并为稀疏插值与层析重建从后验中生成直观合理的样本。本文配套代码见 https://github.com/gbuzzard/generative-pnp-allerton 。
引用
@article{arxiv.2306.07233,
title = {Generative Plug and Play: Posterior Sampling for Inverse Problems},
author = {Charles A. Bouman and Gregery T. Buzzard},
journal= {arXiv preprint arXiv:2306.07233},
year = {2023}
}
备注
8 pages, submitted to 2023 IEEE Allerton Conference