使用深度生成模型的贝叶斯图像重建

机器学习模型通常以端到端和 supervised 设置进行训练，使用成对的（输入，输出）数据。例子包括近期在（低分辨率，高分辨率）图像对上训练的超分辨率方法。然而，这些端到端方法在输入（例如夜间图像与日光图像）或相关潜变量（例如相机模糊或手部运动）出现分布偏移时，每次都需要重新训练。在这项工作中，我们利用最先进的（SOTA）生成模型（此处为StyleGAN2）构建强大的图像先验，从而能够将贝叶斯定理应用于许多下游重建任务。我们的方法，即通过生成模型的贝叶斯重建（BRGM），使用单个预训练生成器模型，通过将其与不同的前向退化模型结合，来解决不同的图像恢复任务，即超分辨率和修复。我们保持生成器模型的权重固定，并通过估计生成重建图像的输入潜向量上的贝叶斯最大后验（MAP）估计来重建图像。我们进一步使用变分推断来近似潜向量上的后验分布，并从中采样多个解。我们在三个大型且多样的数据集上演示BRGM：（i）来自Flick Faces High Quality数据集的60,000张图像；（ii）来自MIMIC III的240,000张胸部X光片；（iii）由5个脑MRI数据集组成的合并集合，含7,329次扫描。在所有三个数据集上，无需任何数据集特定的超参数调优，我们的简单方法在超分辨率和修复上取得了与当前特定任务最先进方法相竞争的性能，同时更具泛化性且无需任何训练。我们的源代码和预训练模型可在线获取：https://razvanmarinescu.github.io/brgm/。