简化一致性模型
机器学习
2024-10-14 v2 计算机视觉与模式识别
摘要
一致性模型(CM)比传统扩散模型提供更快的采样速度，但其训练资源密集。例如，截至2024年，在CIFAR-10上训练一个最先进的CM需要8个GPU运行一周。在这项工作中，我们提出了一种有效的CM训练方案，大大提高了构建此类模型的效率。具体来说，通过一个特定的微分方程来表达CM轨迹，我们认为扩散模型可以被视为CM的一个特例。因此，我们可以从预训练的扩散模型开始微调一个一致性模型，并在训练过程中逐步逼近到更强程度的完全一致性条件。我们由此得到的方法，称为简易一致性微调(ECT)，在实现训练时间大幅减少的同时，提高了先前方法的质量：例如，ECT在单个A100 GPU上1小时内，在CIFAR10上实现了2步FID为2.73，与训练了数百GPU小时的一致性蒸馏方法相匹配。由于这种计算效率，我们研究了ECT下CM的缩放定律，表明它们遵循经典的幂律缩放，暗示了其在更大规模下提高效率和性能的能力。我们的代码(https://github.com/locuslab/ect)是公开可用的，使CM更易于被更广泛的社区使用。
引用
@article{arxiv.2406.14548,
title = {Consistency Models Made Easy},
author = {Zhengyang Geng and Ashwini Pokle and William Luo and Justin Lin and J. Zico Kolter},
journal= {arXiv preprint arXiv:2406.14548},
year = {2024}
}