Patch增强掩码编码器提示图像生成

人工智能生成内容（AIGC）因其卓越的视觉效果而成为高成本广告应用的有前景的缓解方法。已developed出各种方法来在不同条件下操控生成内容。然而,关键限制在于对广告应用中产品的准确描述。直接应用先前的方法可能导致广告产品的显著失真和变形,主要由于过于简化的内容控制条件。因此,本工作提出了一种patch增强掩码编码器方法,以确保准确的产品描述,同时保持多样化的背景。我们的方法由三个组件组成:Patch Flexible Visibility、Mask Encoder Prompt Adapter和image Foundation Model。Patch Flexible Visibility用于生成更合理的背景图像。Mask Encoder Prompt Adapter实现区域受控融合。我们还对Generation Module的结构和操作机制进行了分析。实验结果表明,我们的方法在视觉效果和FID分数方面优于其他方法。