通过注意力引导的特征增强修复文本到图像扩散模型中的灾难性忽略

文本到图像扩散模型（T2I DMs）因能够从文本描述生成高质量图像而受到广泛关注。然而，这些模型常常生成与输入prompt不完全一致的图像，导致语义不一致。其中最突出的问题是catastrophic-neglect，即T2I DMs生成的图像遗漏了prompt中提及的关键对象。我们首先对该问题进行经验研究，探讨catastrophic-neglect的普遍性、通过特征增强的潜在缓解策略以及所获启发。基于经验发现，我们提出了一种自动化修复方法，称为Patcher，用于解决T2I DMs中的catastrophic-neglect。具体而言，Patcher首先确定是否存在被忽略的对象，然后对这些被忽略的对象应用attention-guided feature enhancement，以生成修复后的prompt。实验结果在三个版本的Stable Diffusion上表明，Patcher有效修复了catastrophic-neglect问题，相较于基线方法，在image generation中实现了Correct Rate提升10.1%-16.3%。