用于受控图像生成的向量场引导定向流模型

扩散模型（DMs）凭借分类器自由指导和图像反转技术，在照片 realism、图像编辑和求解反问题方面表现出色。然而，定向流模型（RFMs）在这些任务中仍鲜有探索。现有DM基于的方法往往需要额外训练，难以适用于预训练的潜在模型，性能不佳，且因对ODE求解器和反转过程进行大量反向传播而需要巨大的计算资源。本文首先对RFM在高效引导去噪轨迹方面的向量场动力学进行理论和实证分析。我们的发现表明，我们可以以确定性和无梯度的方式导航向量场。利用这一特性，我们提出FlowChef，该方法利用向量场引导去噪轨迹，以受控方式进行图像生成任务，借助梯度跳过技术实现。FlowChef是首个同时解决分类指导、线性反问题和图像编辑的统一框架，无需额外训练、逆转或密集反向传播。最后，我们进行了广泛的评估，表明FlowChef在性能、内存和时间要求方面均显著优于基线方法，实现了新的最先进（SOTA）结果。项目页面：\url{https://flowchef.github.io}。