已保存检查点的线性组合使一致性与扩散模型更优
计算机视觉与模式识别
2025-02-27 v3
摘要
扩散模型（DM）和一致性模型（CM）是两类流行的生成模型，在各种任务中具有良好的生成质量。在训练DM和CM时，中间权重检查点未被充分利用，仅使用最后收敛的检查点。在本工作中，我们发现高质量的模型权重通常位于SGD无法到达的盆地中，但可以通过适当的检查点平均来获得。基于这些观察，我们提出了LCSC，这是一种简单但有效且高效的方法，通过将训练轨迹上的检查点与从进化搜索推导出的系数相结合，来增强DM和CM的性能。我们通过两个用例展示了LCSC的价值： 使用LCSC，我们只需以更少的迭代次数和/或更小的批量大小训练DM/CM，即可获得与完全训练模型相当的样本质量。例如，LCSC为CM实现了显著的训练加速（在CIFAR-10上为23，在ImageNet-64上为15）。 假设已完成全部训练，LCSC可以进一步提高最终收敛模型的生成质量或速度。例如，在一致性蒸馏中，LCSC在使用1次函数评估（NFE）的情况下取得了比使用2次NFE的基础模型更好的性能，并在保持CIFAR-10上生成质量的同时，将DM的NFE从15降至9。我们的代码可在 https://github.com/imagination-research/LCSC 获取。
引用
@article{arxiv.2404.02241,
title = {Linear Combination of Saved Checkpoints Makes Consistency and Diffusion Models Better},
author = {Enshu Liu and Junyi Zhu and Zinan Lin and Xuefei Ning and Shuaiqi Wang and Matthew B. Blaschko and Sergey Yekhanin and Shengen Yan and Guohao Dai and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2404.02241},
year = {2025}
}