基于熵的生成式扩散模型时间调度器
机器学习
2025-11-25 v4 人工智能
摘要
生成式扩散模型的实际性能依赖于噪声调度函数的合理选择，而这也可以等价表示为时间重参数化。在本文中，我们提出了一种基于熵而非均匀时间间隔选择采样点的调度器，确保每个点对最终生成贡献相等的信息量。我们证明了这种时间重参数化不依赖于初始时间选择。此外，我们提供了一个在训练损失中精确估计此"熵时间"的可计算公式，且不会带来显著的额外开销。除了熵时间，灵感来自最优性结果，我们引入了 rescaled entropic time。在我们的实验中，使用混合高斯分布和 ImageNet 数据集，我们展示了使用（rescaled）熵时间显著提高了训练模型的推理性能。特别是，我们发现预训练的 EDM2 模型在 FID 和 FD-DINO 分数评估下的图像质量，通过 rescaled 熵时间重参数化可大幅提升，而且在不增加函数评估次数的前提下，效果尤其在少量 NFEs regime 中更为显著。代码已公开 https://github.com/DejanStancevic/Entropic-Time-Schedulers-for-Generative-Diffusion-Models。
引用
@article{arxiv.2504.13612,
title = {Entropic Time Schedulers for Generative Diffusion Models},
author = {Dejan Stancevic and Florian Handke and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2504.13612},
year = {2025}
}
备注
31 pages