无限索引：生成式文本到图像模型上的信息检索
信息检索
2023-01-24 v2 计算与语言
计算机视觉与模式识别
摘要
DALL-E 与 Stable Diffusion 等条件生成模型基于用户定义的文本（提示词）生成图像。寻找并改进能产生期望图像的提示词已成为提示词工程（prompt engineering）的艺术。生成模型并未提供内置的检索模型，以响应用户通过提示词表达的信息需求。在广泛文献综述的基础上，我们将生成模型的提示词工程重新框定为一种新型“无限索引”上基于文本的交互式检索。我们首次将这些见解应用于一项与专家合作的游戏设计图像生成案例研究中。最后，我们展望了主动学习如何帮助引导生成图像的检索。
引用
@article{arxiv.2212.07476,
title = {The Infinite Index: Information Retrieval on Generative Text-To-Image Models},
author = {Niklas Deckers and Maik Fröbe and Johannes Kiesel and Gianluca Pandolfo and Christopher Schröder and Benno Stein and Martin Potthast},
journal= {arXiv preprint arXiv:2212.07476},
year = {2023}
}
备注
Final version for CHIIR 2023