用于更安全文本到图像生成的迭代提示优化
计算机视觉与模式识别
2025-09-18 v1
摘要
文本到图像（T2I）模型在从文本提示生成图像方面取得了显著进展，但其输出质量和安全性仍严重依赖于提示的表述方式。现有安全方法通常使用大型语言模型（LLM）对提示进行优化，但忽视了生成图像本身，这可能导致不安全的输出或对已经安全的提示进行不必要的修改。为此，我们提出一种迭代提示优化算法，使用视觉语言模型（VLM）分析输入提示和生成的图像。通过利用视觉反馈，该方法更有效地优化提示，在保持用户意图可靠性方面与现有LLM方法相当。此外，我们引入了一个使用即插即用的多模态LLM标记的、同时包含文本和视觉安全信号的数据集，实现监督式微调。实验结果表明，我们的方法在生成更安全的输出方面有效，且不损害与用户意图的对齐，为生成更安全的T2I内容提供了实用解决方案。我们的代码已公开于https://github.com/ku-dmlab/IPR。
引用
@article{arxiv.2509.13760,
title = {Iterative Prompt Refinement for Safer Text-to-Image Generation},
author = {Jinwoo Jeon and JunHyeok Oh and Hayeong Lee and Byung-Jun Lee},
journal= {arXiv preprint arXiv:2509.13760},
year = {2025}
}