基于随机条件和蒸馏的数据高效扩散模型压缩

扩散模型通过逐步去噪生成高质量图像，但由于模型规模大和重复采样，计算负担重。知识蒸馏将复杂教师模型的知识传递给 simpler student 模型，已在识别任务中广泛研究，尤其用于传递学生训练期间未见概念。然而，其在扩散模型上的应用仍有限，尤其是在使 student 模型能够生成训练图像中未覆盖的概念方面。本文提出了随机条件技术，使 noised 图像与随机选取的文本条件配对，以实现高效、无图像的知识蒸馏。通过运用这一技术，我们展示了 student 能够生成训练图像中未出现的概念。当应用于条件扩散模型蒸馏时，我们的方法使 student 能够在不生成 condition-specific图像的情况下探索条件空间，从而在生成质量和效率方面实现显著提升。这促进了生成式扩散模型实现资源高效部署，拓宽了其在科研和实际应用中的可及性。代码、模型和数据集均可在 https://dohyun-as.github.io/Random-Conditioning 获取。