Reverse Prompt：解码文本到图像生成中的提示词配方
计算机视觉与模式识别
2025-03-27 v1 人工智能
摘要
文本到图像生成日益流行，但实现理想图像往往需要大量提示工程。本文探讨如何从参考图像解码文本提示词，称为图像逆向提示工程。该技术使我们能从参考图像获取洞见，理解杰出艺术家的创作过程，并生成惊艳新图像。为解决此挑战，我们提出一种称为自动逆向提示优化（ARPO）的方法。具体而言，ARPO 通过迭代模仿梯度提示优化过程，将初始提示词优化为高质量提示词：1）从当前提示词生成重建图像以实例化其指导能力；2）产生文本梯度，即旨在减少重建图像与参考图像差异的候选提示词；3）采用贪心搜索方法更新当前提示词，以最大化提示词与参考图像之间的 CLIP 相似度。我们将 ARPO 与多种基线方法进行比较，包括手工技术、梯度基础提示调谐、图像描述和数据驱动选择方法。定量与定性结果均表明，ARPO 能快速收敛生成高质量逆向提示词。更重要的是，我们可通过直接编辑这些逆向提示词轻松创建具有多样化风格与内容的新图像。代码将公开发布。
引用
@article{arxiv.2503.19937,
title = {Reverse Prompt: Cracking the Recipe Inside Text-to-Image Generation},
author = {Zhiyao Ren and Yibing Zhan and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2503.19937},
year = {2025}
}