扩散模型中的费曼-卡克正确子：退火、引导与专家乘积
机器学习
2025-06-10 v2
摘要
虽然基于得分的生成模型在众多领域中是首选模型，但在原则性方法下控制推理时行为的工具仍有限，例如用于组合多个预训练模型。现有的无分类器引导方法使用简单的启发式方法混合条件和无条件得分，以近似地从条件分布中进行采样。然而，这些方法并未近似中间分布， necessitating additional "corrector" 步骤。在本工作中，我们提供了一种高效且原则化的方法，用于从由预训练得分模型派生的退火、几何平均或乘积分布序列中进行采样。我们推导了一个称为费曼-卡克正确子 (Feynman-Kac Correctors, FKC) 的加权仿真方案，基于费曼-卡克公式，通过仔细核算相应偏微分方程 (PDE) 中的项。为模拟这些 PDE，我们提出了基于推理时间缩放的顺序蒙特卡罗 (SMC) 重抽样算法。我们通过提出基于推理时间温度退火的 amortize 采样、利用预训练模型改进多目标分子生成，以及改进文本到图像生成的无分类器引导等实证实验，展示了我们方法的实用性。我们的代码已在 https://github.com/martaskrt/fkc-diffusion 上提供。
引用
@article{arxiv.2503.02819,
title = {Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts},
author = {Marta Skreta and Tara Akhound-Sadegh and Viktor Ohanesian and Roberto Bondesan and Alán Aspuru-Guzik and Arnaud Doucet and Rob Brekelmans and Alexander Tong and Kirill Neklyudov},
journal= {arXiv preprint arXiv:2503.02819},
year = {2025}
}
备注
Accepted as a Spotlight Presentation at the International Conference of Machine Learning 2025