文本到图像生成系统的提示词日志分析
人机交互
2023-03-17 v2 人工智能
计算机视觉与模式识别
信息检索
摘要
大语言模型(LLM)与生成式AI的最近进展释放了文本到图像生成系统的惊人能力，可合成忠实于给定参考文本（称为“提示词(prompt)”）的高质量图像。这些系统立即受到研究者、创作者和普通用户的大量关注。尽管已有诸多改进生成模型的努力，但在大规模理解这些系统用户的信息需求方面工作有限。我们对从多个文本到图像生成系统收集的大规模提示词日志进行了首次综合分析。我们的工作类似于分析Web搜索引擎的查询日志，后者已对Web搜索产业与研究的辉煌作出关键贡献。与Web搜索查询相比，文本到图像提示词显著更长，常组织为包含生成任务主体、形式与意图的特殊结构，并呈现独特的信息需求类别。用户在创作会话内进行更多编辑，表现出显著的探索模式。用户输入提示词与生成模型开放训练数据中所含图像的描述文本之间也存在可观差距。我们的发现对如何改进面向创作目的的文本到图像生成系统提供了具体启示。
引用
@article{arxiv.2303.04587,
title = {A Prompt Log Analysis of Text-to-Image Generation Systems},
author = {Yutong Xie and Zhaoying Pan and Jinge Ma and Luo Jie and Qiaozhu Mei},
journal= {arXiv preprint arXiv:2303.04587},
year = {2023}
}