DEFT：通过学习广义 $h$-变换实现扩散模型的高效微调
机器学习
2025-05-22 v5
摘要
基于去噪扩散过程的生成建模范式已成为反问题中条件采样的领先候选方案。在许多实际应用中，我们通常可以访问经过大规模昂贵训练的无条件扩散模型，旨在利用它们来改进条件采样。大多数最新方法都是启发式驱动的，缺乏统一框架，掩盖了它们之间的联系。此外，它们经常面临一些问题，例如对超参数非常敏感、训练成本高昂或需要访问隐藏在封闭 API 之后的权重。在本工作中，我们利用数学上充分理解的 Doob -变换统一了条件训练与采样。这一新视角使我们能够在共同框架下统一许多现有方法。在该框架下，我们提出了 DEFT (Doob's h-transform Efficient FineTuning)，这是一种用于条件生成的新方法，仅需微调一个非常小的网络以快速学习条件 -变换，同时保持较大的无条件网络不变。DEFT 比现有基线快得多，并在各种线性和非线性基准测试中实现了 SOTA 性能。在图像重建任务中，我们实现了高达 1.6 的加速，同时在自然图像上具有最佳感知质量，在医学图像上具有最佳重建性能。此外，我们还在蛋白质基序支架上提供了初步实验，并优于重建指导方法。
关键词
引用
@article{arxiv.2406.01781,
title = {DEFT: Efficient Fine-Tuning of Diffusion Models by Learning the Generalised $h$-transform},
author = {Alexander Denker and Francisco Vargas and Shreyas Padhy and Kieran Didi and Simon Mathis and Vincent Dutordoir and Riccardo Barbano and Emile Mathieu and Urszula Julia Komorowska and Pietro Lio},
journal= {arXiv preprint arXiv:2406.01781},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2312.09236