中文

NeuroPrompts:一种用于优化文本到图像生成提示的自适应框架

人工智能 2024-04-09 v2

摘要

尽管文本到图像扩散模型近期取得了令人印象深刻的进展,但获得高质量图像往往需要具备使用经验的用户进行提示工程。本文中,我们提出NeuroPrompts,一种自动增强用户提示以改善文本到图像模型生成质量的自适应框架。我们的框架利用约束文本解码与经过适配以生成类人类提示工程师所产提示的预训练语言模型。该方法可实现更高质量的文本到图像生成,并通过约束集指定提供对用户风格特征的控制。我们通过使用Stable Diffusion创建用于提示增强与图像生成的交互式应用来展示框架效用。此外,我们利用大规模人类工程化文本到图像生成提示数据集开展实验,表明我们的方法自动产生增强提示,带来更优图像质量。我们公开了NeuroPrompts的代码与一段录屏视频演示。

关键词

引用

@article{arxiv.2311.12229,
  title  = {NeuroPrompts: An Adaptive Framework to Optimize Prompts for Text-to-Image Generation},
  author = {Shachar Rosenman and Vasudev Lal and Phillip Howard},
  journal= {arXiv preprint arXiv:2311.12229},
  year   = {2024}
}

备注

Accepted to EACL 2024 System Demonstration Track