DiffusionDB：面向文本到图像生成模型的大规模提示词库数据集
摘要
随着扩散模型的最新进展，用户可以通过编写自然语言文本提示词来生成高质量图像。然而，生成具有所需细节的图像需要合适的提示词，并且模型对不同提示词的反应如何或最佳提示词是什么通常尚不清楚。为了帮助研究人员应对这些关键挑战，我们引入了 DiffusionDB，这是第一个大规模文本到图像提示词数据集，总计 6.5TB，包含由 Stable Diffusion 生成的 1400 万张图像、180 万个独特提示词以及真实用户指定的超参数。我们分析了提示词的句法和语义特征。我们指出了可能导致模型错误的特定超参数值和提示词风格，并提出了潜在有害模型使用的证据，例如虚假信息的生成。这一前所未有规模和多样性的人类驱动数据集为理解提示词与生成模型之间的相互作用、检测深度伪造以及设计人机交互工具以帮助用户更轻松地使用这些模型提供了令人兴奋的研究机会。DiffusionDB 已公开发布于：https://poloclub.github.io/diffusiondb。
引用
@article{arxiv.2210.14896,
title = {DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models},
author = {Zijie J. Wang and Evan Montoya and David Munechika and Haoyang Yang and Benjamin Hoover and Duen Horng Chau},
journal= {arXiv preprint arXiv:2210.14896},
year = {2023}
}
备注
Accepted to ACL 2023 (nominated for best paper, top 1.6% of submissions, oral presentation). 17 pages, 11 figures. The dataset is available at https://huggingface.co/datasets/poloclub/diffusiondb. The code is at https://github.com/poloclub/diffusiondb. The interactive visualization demo is at https://poloclub.github.io/diffusiondb/explorer/