基于熵修正引导的扩散与流模型

引导技术在扩散模型和流模型中通常用于提高条件生成任务（如类别条件和文本到图像生成）的图像质量和输入一致性。特别是分类器无引导（CFG）是最广泛采用的引导技术，但其结果是在图像质量、多样性和一致性之间存在权衡：在某些方面改进，往往以牺牲其他方面为代价。尽管近期工作表明可以在一定程度上解耦这些因素，但此类方法需要额外（较弱）的模型，或需要在每个采样步骤中进行更多的前向传递。在本文中，我们提出了基于扩散变换器架构注意力机制推理时变化的熵修正引导（ERG），这是一种简单而有效的引导方法，能够在图像质量、多样性和提示一致性方面实现同步改进。ERG 比 CFG 和类似的引导技术更通用，因为其适用于无条件采样。我们展示了 ERG 在各种任务中均显著改进了表现，包括文本到图像、类别条件和无条件图像生成。我们也表明 ERG 可以无缝地与其他近期引导方法（如 CADS 和 APG）结合使用，进一步提升生成效果。