面向逆问题的扩散模型后验抽样的零样本适配

扩散模型已成为解决逆问题的强大生成技术。尽管在图像处理等各种逆问题中取得成功，但这些模型需要许多迭代步骤才能收敛，导致推理时间较长。最近，扩散模型采用更精细的噪声计划， 在较低噪声水平进行更频繁的 timestep 迭代，从而提高图像生成质量和收敛速度。然而，针对逆问题应用这些想法仍具有挑战性，因为这些噪声计划在使用经验性调参用于前向模型对数似然权重时表现不佳。为解决这些挑战，我们提出一种零样本近似后验抽样(ZAPS)方法，利用与零样本物理驱动深度学习的联系。ZAPS固定抽样步骤数目，并使用基于物理的损失函数进行零样本训练，以在每个不规则 timestep 上学习对数似然权重。我们将ZAPS应用于最近提出的扩散后验抽样方法作为基线，ZAPS也可与其他后验抽样扩散模型一起使用。我们进一步采用对数先验 Hessian 的对角化方法进行近似计算，使用可学习的对角元素实现计算效率。这些参数在给定计算预算的固定迭代次数内进行优化。我们对各种噪声逆问题的结果包括高斯和运动模糊、填充和超分辨率，表明ZAPS可减少推理时间，提高对不规则噪声计划的鲁棒性，并提升重建质量。代码已公开 https://github.com/ualcalar17/ZAPS