使用适配器高效蒸馏无分类器引导

虽然无分类器引导（CFG）对于条件扩散模型至关重要，但它使每个推理步骤的神经函数评估（NFE）次数增加了一倍。为了缓解这种低效性，我们引入了适配器引导蒸馏（AGD），这是一种在单次前向传递中模拟CFG的新颖方法。AGD利用轻量级适配器来近似CFG，在保持甚至提高样本质量的同时，有效地将采样速度提高了一倍。与之前调整整个模型的引导蒸馏方法不同，AGD保持基础模型冻结，仅训练极少的附加参数（$\sim$2%），从而显著降低了蒸馏阶段的资源需求。此外，该方法保留了原始模型权重，并使适配器能够与从同一基础模型派生的其他检查点无缝结合。我们还通过在CFG引导的轨迹而非标准扩散轨迹上进行训练，解决了现有引导蒸馏方法中训练与推理之间的关键不匹配问题。通过大量实验，我们表明AGD在多种架构上仅以一半的NFE实现了与CFG相当或更优的FID。值得注意的是，我们的方法能够在具有24 GB显存的单张消费级GPU上蒸馏大型模型（$\sim$2.6B参数），使其比以前需要多张高端GPU的方法更容易普及。我们将公开发布该方法的实现。