利用预训练扩散模型生成罕见概念图像

文本到图像扩散模型能够合成高质量图像，但它们存在多种局限性。本文我们着重指出此类模型的一种常见失效模式，即生成非常见概念以及如手掌般的结构化概念。我们表明其局限性部分源于训练数据的长尾特性：网络爬取的数据集严重不平衡，导致模型对分布尾部概念的代表不足。我们刻画了不平衡训练数据对文本到图像模型的影响并给出一种补救方法。我们表明，通过使用一小参考图像集在噪声空间中仔细选取合适的生成种子，即可正确生成罕见概念，我们将此技术称为 SeedSelect。SeedSelect 无需重新训练或微调扩散模型。我们评估了 SeedSelect 在创建罕见物体与生成如手部图像等复杂形态时的保真度、质量与多样性，发现其一致地取得更优性能。我们进一步展示了 SeedSelect 在语义数据增强中的优势。生成语义恰当的图像可成功提升少样本识别基准上的性能，无论类别来自扩散模型训练数据头部还是尾部。