Paint4Poem：面向中国古典诗词艺术可视化的数据集
计算机视觉与模式识别
2021-09-29 v2 人工智能
摘要
本工作中我们提出一项新任务：中国古典诗词的艺术可视化，其目标是为古典诗词生成特定艺术风格的绘画。为此，我们构建了一个名为 Paint4Poem 的新数据集。Paint4Poem 的第一部分包含从有影响力的现代中国艺术家丰子恺处人工收集的 301 组高质量诗画配对。由于其规模较小，给有效训练诗到画生成模型带来挑战，我们引入了 Paint4Poem 的第二部分，其包含从丰子恺绘画中人工收集的 3,648 组描述-绘画配对，以及从网络自动收集的 89,204 组诗画配对。我们期望前者因其包含其最多绘画而有助于学习艺术家绘画风格，后者有助于学习诗词与绘画之间的语义关联。进一步，我们从诗词多样性、绘画风格以及诗词与绘画间语义关联方面分析了 Paint4Poem。我们为 Paint4Poem 建立了一个基准：训练了两种具代表性的文本到图像生成模型 AttnGAN 与 MirrorGAN，并从绘画图像质量、绘画风格相关性以及诗词与绘画间语义相关性方面评估其性能。结果表明，模型能够生成具有良好图像质量且模仿丰子恺风格的绘画，但对诗词语义的反映有限。该数据集还在此任务上提出了许多有趣的研究方向，包括迁移学习、少样本学习、低资源数据的文本到图像生成等。数据集已公开可用。(https://github.com/paint4poem/paint4poem)
引用
@article{arxiv.2109.11682,
title = {Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems},
author = {Dan Li and Shuai Wang and Jie Zou and Chang Tian and Elisha Nieuwburg and Fengyuan Sun and Evangelos Kanoulas},
journal= {arXiv preprint arXiv:2109.11682},
year = {2021}
}