基于块的扩散模型在分布不匹配逆问题中优于全图模型

扩散模型因其学习强图像先验的能力在解决逆问题方面取得了显著成功，但现有方法需要大量与测试数据集同分布的训练图像数据集。当训练分布和测试分布不匹配时，由于先验不正确，重建图像中可能出现伪影和幻觉。在这项工作中，我们系统地研究了已知训练分布下的分布外（OOD）问题。我们首先研究了仅有一个来自未知测试分布的测量值可用的情况。接下来，我们研究了测试分布的一个非常小的数据样本可用的情况，我们的目标仍然是从一个来自测试分布的测量值重建图像。在这两种情况下，我们都使用基于块的扩散先验，该先验仅从块中学习图像分布。此外，在第一种情况下，我们引入了一个自监督损失，帮助网络输出保持与测量的一致性。大量实验表明，在这两种情况下，基于块的方法可以获得高质量的图像重建，其性能优于全图模型，并且可以与访问大量同分布训练数据集的方法相竞争。此外，我们展示了全图模型容易产生记忆和过拟合，导致重建中出现伪影，而基于块的模型可以解决这些问题。