基于范数引导的潜空间探索用于文本到图像生成

文本到图像扩散模型在合成大量不同概念的新组合与新场景方面展现出巨大潜力。然而，初始种子的潜空间仍未被充分理解，且其结构已被证明会影响各种概念的生成。具体而言，在潜空间中使用标准欧氏或球面度量进行插值、求一组种子的质心等简单操作表现不佳。本文观察到，在当前的训练流程中，扩散模型所观测输入的范数值范围较窄。这对依赖种子操控进行图像生成的方法具有深远影响，并可应用于少样本与长尾学习任务。为解决该问题，我们提出了一种在两枚种子间进行插值的新方法，并证明其定义了一种考虑基于范数的种子先验的新非欧氏度量。我们描述了一种简单而高效的算法来近似该插值过程，并进一步借此定义潜种子空间中的质心。我们表明，新的插值与质心技术显著增强了稀有概念图像的生成能力。这进一步在少样本与长尾基准上取得了 SOTA 性能，在生成速度、图像质量与语义内容方面均优于先前方法。