多模态扩散模型的动力学制动

扩散生成模型在合成高维数据方面取得了前所未有的保真度，但支配多模态生成的理论机制仍不完全理解。本文提出一种针对耦合扩散模型的理论框架，采用耦合 Ornstein-Uhlenbeck 过程作为可处理模型。通过运用动力学相变的非平衡统计物理，我们展示，多模态生成由交互时间尺度的谱层次所支配，而非同时分辨。一个关键预测是“同步间隙”，即在反向生成过程中，不同本征模在不同速率下稳定的时段窗口，为常见的去同步伪影提供了理论解释。我们在对称和各向异性耦合 regime 下推导了种群和坍塌时间的解析条件，建立了耦合强度以避免不稳定对称破坏的严格界限。我们表明，耦合强度充当谱滤波器，对生成施加可调的时序层次。我们通过在 MNIST 数据集上训练的扩散模型的控制实验支持了这些预测。这些结果激发了针对特定模式时间尺度的时序耦合计划，这为替代 ad hoc guidance 调谐提供了潜在方案。