扩散模型的一阶生成双层优化框架
机器学习
2025-08-06 v2 最优化与控制
机器学习
摘要
扩散模型通过迭代去噪数据样本来合成高质量输出，已在多个领域取得实证成功。然而，针对下游任务优化这些模型常涉及嵌套双层结构，如微调任务的超参数调优或训练动力学中的噪声计划，其中传统双层方法因无限维概率空间和高昂的抽样成本而难以实现。我们将这一挑战形式化为生成双层优化问题，并针对两个关键场景进行解决：（1）通过推断-only 下层求解器配合样本高效梯度估计器进行预训练模型微调；（2）通过重参数化下层问题并设计可计算可行的梯度估计器，从头训练扩散模型。我们的一种阶方法双层框架克服了传统双层方法与扩散过程不兼容的问题，提供了理论依据和计算可行性。实验表明，我们的方法在现有微调和超参数搜索基准上取得优异性能。
引用
@article{arxiv.2502.08808,
title = {A First-order Generative Bilevel Optimization Framework for Diffusion Models},
author = {Quan Xiao and Hui Yuan and A F M Saif and Gaowen Liu and Ramana Kompella and Mengdi Wang and Tianyi Chen},
journal= {arXiv preprint arXiv:2502.08808},
year = {2025}
}
备注
Cameral-ready version: added experiments using the HPSv2 reward, improved notation consistency for the diffusion model, and added related works