基于临界阻尼 Langevin 扩散的得分生成建模

得分生成模型 (SGMs) 已展现出卓越的合成质量。SGMs 依赖于一个扩散过程，该过程逐渐将数据扰动至一个易处理的分布，而生成模型学习去噪。这一去噪任务的复杂度，除数据分布本身外，唯一地由扩散过程决定。我们认为当前的 SGMs 采用了过于简化的扩散，导致不必要的复杂去噪过程，限制了生成建模性能。基于与统计力学的联系，我们提出了一种新颖的临界阻尼 Langevin 扩散 (CLD)，并表明基于 CLD 的 SGMs 取得了更优性能。CLD 可解释为在扩展空间中运行联合扩散，其中辅助变量可视为“速度”，并如哈密顿动力学中与数据变量耦合。我们推导了针对 CLD 的新颖得分匹配目标，并表明模型只需学习给定数据时速度的条件分布的得分函数，这是比直接学习数据得分更简单的任务。我们还推导了一种新的采样方案，用于从基于 CLD 的扩散模型高效合成。我们发现，在网络架构和采样计算预算相似的情况下，CLD 在合成质量上优于先前的 SGMs。我们表明，我们针对 CLD 的新颖采样器显著优于 Euler–Maruyama 等求解器。我们的框架为基于得分的去噪扩散模型提供了新见解，并可用于高分辨率图像合成。项目页面与代码：https://nv-tlabs.github.io/CLD-SGM。