通过基于块的扩散模型学习图像先验，用于求解逆问题
计算机视觉与模式识别
2025-09-24 v3 人工智能
摘要
扩散模型能够从数据分布中学习强图像先验，并用于求解逆问题，但训练过程计算成本高昂且需要大量数据。此类瓶颈阻碍了现有方法在高维和高分辨率数据（如3D图像）上的可行性。本文提出一种方法，通过仅在图像块上训练扩散模型来学习整个图像的高效数据先验。具体而言，我们提出了一种基于块的位置感知扩散逆求解器，称为PaDIS（Patch-based position-aware diffusion inverse solver），通过块及其位置编码的得分函数获得整个图像的得分函数，并将其作为求解逆问题的先验。首先，我们展示了该扩散模型在保持通过位置编码生成整个图像的能力的同时，实现了更高的内存效率和数据效率。此外，提出的PaDIS模型高度灵活，可与不同扩散逆求解器（DIS）集成。我们表明，所提出的PaDIS方法使我们能够仅凭块级先验，解决自然图像和医学图像领域中的各种逆问题，包括CT重建、去模糊和超分辨。值得注意的是，在训练数据有限的情况下，PaDIS比以整个图像先验训练的以前的DIS方法表现更好，展示了我们所提出方法的数据效率，通过学习基于块的先验来实现。
引用
@article{arxiv.2406.02462,
title = {Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems},
author = {Jason Hu and Bowen Song and Xiaojian Xu and Liyue Shen and Jeffrey A. Fessler},
journal= {arXiv preprint arXiv:2406.02462},
year = {2025}
}