扩散模型是否需要单调采样?
机器学习
2026-05-13 v1 人工智能
摘要
扩散模型通过迭代去噪高斯先验来生成样本,遍历噪声水平序列,在每个已发表的采样器中,噪声水平单调递减。六年来,围绕该食谱几乎每一方面都有深入研究,包括破坏算子、训练目标、日程表形状、体系结构和 ODE 求解器。然而,这一单调性假设本身从未被系统性地测试。在本工作中,我们询问单调采样是否至关重要,还是仅仅是惯常做法。我们设计了四类结构化非单调日程表,并将其应用于三个 architecturally distinct 的生成模型:DDPM、EDM 和 Flow Matching,实验覆盖 NFE 预算从 10 到 200 个函数评估,外加 42 个超参数 ablation,在 CIFAR-10 上进行。经过 90 个测试配置,没有任何测试的非单调日程表在基准单调日程表上取得更好结果。然而,惩罚幅度跨越 nearly three orders of magnitude:在 DDPM 中持续且显著,在 Flow Matching 中为中间,在 EDM 中几乎不可察觉。我们表明这种差异不是噪声,而是每个训练去噪器的结构属性,我们将其形式化为 Schedule Sensitivity Coefficient,这是一种廉价且 architecture-agnostic 的诊断工具,提供关于在关键噪声水平处是否接近贝叶斯最优去噪器的证据。我们的发现证实了该领域对单调日程表的默许依赖,并为一种新的扩散模型质量探针提供了补充,后者与如 Fréchet Inception Distance 等样本质量指标相辅相成。
引用
@article{arxiv.2605.11773,
title = {Is Monotonic Sampling Necessary in Diffusion Models?},
author = {Muhammad Haris Khan},
journal= {arXiv preprint arXiv:2605.11773},
year = {2026}
}