后验蒸馏采样

我们提出后验蒸馏采样（PDS），一种基于扩散模型的参数化图像编辑的新型优化方法。现有的基于优化的方法利用扩散模型强大的 2D 先验来处理各种参数化图像，主要集中于生成。与生成不同，编辑需要在符合目标属性与保留源内容的身份之间取得平衡。近期的 2D 图像编辑方法通过利用扩散模型生成过程中编码的随机潜变量实现了这一平衡。为了将扩散模型在像素空间中展现的编辑能力扩展到参数空间，我们将 2D 图像编辑方法重新表述为一种称为 PDS 的优化形式。PDS 匹配源与目标的随机潜变量，从而能够在多样的参数空间中采样与目标属性一致同时维持源身份的目标。我们证明该优化类似于以目标属性运行生成过程，但使该过程与源生成过程的轨迹对齐。在神经辐射场（Neural Radiance Fields）和可缩放矢量图形（Scalable Vector Graphics）表示上的大量编辑结果表明，PDS 能够在各种参数空间中采样目标以实现上述平衡。