面向个性化文本到图像生成的自动化黑盒提示工程
计算机视觉与模式识别
2025-08-19 v4 人工智能
计算与语言
机器学习
摘要
提示工程是控制文本到图像（Text-to-Image, T2I）生成模型的一种有效但耗费人力的方法。其耗时性与复杂性推动了自动化提示生成算法的发展。然而，这些方法通常在T2I模型间的可迁移性上存在困难，需要对底层模型进行白盒访问，或产生非直观的提示。在本工作中，我们引入了PRISM算法，该算法在仅给定T2I模型黑盒访问权限的情况下，能够自动生成人类可解释且可迁移的提示，以有效生成所需概念。受大语言模型（LLM）越狱启发，PRISM利用LLM的上下文学习能力，基于参考图像迭代地优化候选提示分布。我们的实验证明了PRISM在为多个T2I模型（包括Stable Diffusion、DALL-E和Midjourney）生成针对物体、风格和图像的准确提示时的多功能性与有效性。
引用
@article{arxiv.2403.19103,
title = {Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation},
author = {Yutong He and Alexander Robey and Naoki Murata and Yiding Jiang and Joshua Nathaniel Williams and George J. Pappas and Hamed Hassani and Yuki Mitsufuji and Ruslan Salakhutdinov and J. Zico Kolter},
journal= {arXiv preprint arXiv:2403.19103},
year = {2025}
}