MPDS：用于扩散模型图像生成的电影海报数据集
计算机视觉与模式识别
2024-10-23 v1
摘要
电影海报是吸引观众、传递主题并推动市场竞争的关键手段。传统设计方法繁琐，而智能生成技术提供了效率提升和设计优化。尽管图像生成领域取得了显著进展，但当前模型在生成满意的海报结果方面仍有不足。主要问题在于缺乏针对海报的专业数据集以进行针对性模型训练。本文提出了电影海报数据集（MPDS），专为文本到图像生成模型而设计，以革新海报生产。鉴于海报属性，MPDS 是目前已知的第一大图像-文本配对数据集，包含 37.3 万+ 图像-文本配对及 8 万+ 演员图像（覆盖 4 万+ 演员）。详细的海报描述，如电影标题、类型、演员阵容及剧情简介，均基于公开电影剧情简介进行细致组织与标准化，称为电影-剧情简介提示词。为提升海报描述质量并减少与电影剧情简介的差异，进一步利用大规模视觉语言模型为每张海报自动生成具有视觉感知性的提示词，然后进行人工校正与整合，融合电影-剧情简介提示词。此外，本文引入了海报标题提示词，以展示海报中如演员姓名和电影标题等文本元素。对于电影海报生成，本文开发了一种多条件扩散框架，输入海报提示词、海报标题及演员图像（用于个性化），通过学习扩散模型实现卓越效果。实验表明，所提出的 MPDS 数据集在推动个性化电影海报生成方面发挥了重要作用。MPDS 可在 https://anonymous.4open.science/r/MPDS-373k-BD3B 获取。
引用
@article{arxiv.2410.16840,
title = {MPDS: A Movie Posters Dataset for Image Generation with Diffusion Model},
author = {Meng Xu and Tong Zhang and Fuyun Wang and Yi Lei and Xin Liu and Zhen Cui},
journal= {arXiv preprint arXiv:2410.16840},
year = {2024}
}