S$^{2}$-DMs：跳步扩散模型

扩散模型已成为强大的生成工具，在样本质量上可与GAN相媲美，在似然分数上可匹配自回归模型。这些模型中的一部分，例如DDIMs，表现出一种固有的不对称性：它们在$T$步上训练，但在生成过程中仅从$T$的一个子集中采样。这种选择性采样方法虽然优化了速度，但无意中丢失了未采样步骤中的重要信息，导致样本质量可能受损。为了解决这个问题，我们提出了S$^{2}$-DMs，这是一种使用创新的$L_{skip}$的新训练方法，该方法经过精心设计，旨在重新整合选择性采样阶段遗漏的信息。这种方法的好处是多方面的：它显著提高了样本质量，实现起来非常简单，只需要最少的代码修改，并且足够灵活，可以与各种采样算法兼容。在CIFAR10数据集上，使用我们的算法训练的模型在不同采样算法（DDIMs、PNDMs、DEIS）和不同采样步数（10、20、...、1000）下，比使用传统方法训练的模型提升了3.27%到14.06%。在CELEBA数据集上，提升范围为8.97%到27.08%。代码和其他资源可在github上获取。