图像生成模型的提示恢复：离散优化器的比较研究
计算机视觉与模式识别
2025-05-01 v2 机器学习
摘要
仅基于生成的图像来恢复自然语言提示，对于图像生成模型而言是一个困难的离散优化问题。在这项工作中，我们首次对提示反转问题的近期离散优化技术进行了头对头比较。我们评估了贪心坐标梯度（GCG）、PEZ、随机搜索、AutoDAN 和 BLIP2 的图像描述器，涵盖与反转提示质量以及由反转提示生成的图像质量相关的各种评估指标。我们发现，聚焦于反转提示与真实图像之间的 CLIP 相似度，作为真实图像与由反转提示生成的图像之间相似度的代理是一个较差的指标。虽然离散优化器有效地最小化了其目标函数，但简单地使用经过良好训练的描述器的响应往往导致生成的图像更接近由原始提示产生的图像。
引用
@article{arxiv.2408.06502,
title = {Prompt Recovery for Image Generation Models: A Comparative Study of Discrete Optimizers},
author = {Joshua Nathaniel Williams and Avi Schwarzschild and Yutong He and J. Zico Kolter},
journal= {arXiv preprint arXiv:2408.06502},
year = {2025}
}
备注
11 Pages, 3 Figures