大规模文本到图像模型：以换图方式实现零样本主题驱动图像生成

主题驱动文本到图像生成旨在准确捕获主题的视觉特征及文本提示的语义内容，以产生所需情境下的新主题图像。传统方法依赖耗时耗资源的微调以实现主题对齐，而 recent zero-shot 方法利用 on-the-fly image prompting，往往牺牲主题对齐。本文引入 Diptych Prompting，一种 novel zero-shot 方法，将其重新解释为以 precise 主题对齐进行换图任务，利用 large-scale 文本到图像模型中 diptych generation 的 emergent property。Diptych Prompting 将 reference 图像安置于左侧面板，随后在右侧面板上进行 text-conditioned 换图。我们进一步通过移除 reference 图像的背景来防止不必要内容泄漏，并通过 enhance attention weights between panels 在换图期间改善生成主题的细粒度细节。实验结果表明，我们的方法显著优于 zero-shot image prompting 方法，生成的图像在用户偏好上表现更佳。此外，我们的方法不仅支持主题驱动生成，也支持 stylized image generation 与主题驱动图像编辑，展现出在 diverse image generation 应用中的 versatility。项目页面：https://diptychprompting.github.io/