Infusion：防止定制文本到图像扩散中的过拟合

文本到图像（T2I）定制旨在创建体现文本描述中特定视觉概念的图像。然而，现有工作仍面临一个主要挑战：概念过拟合。为了解决这一挑战，我们首先分析过拟合，将其分为概念无关过拟合（破坏非定制概念知识）和概念特定过拟合（局限于在有限模态上定制，即背景、布局、风格）。为了评估过拟合程度，我们进一步引入两个指标：潜在 Fisher 散度和 Wasserstein 度量，分别测量非定制和定制概念分布的变化。基于分析，我们提出 Infusion，一种 T2I 定制方法，使得学习目标概念能够避免受限于有限训练模态，同时保留非定制知识。值得注意的是，Infusion 以极高的效率实现这一目标，仅需 11KB 的训练参数。大量实验也表明，我们的方法在单概念和多概念定制生成中均优于最先进的方法。