基于循环一致对抗网络的半监督中文诗词转绘画生成
计算机视觉与模式识别
2024-10-28 v1 多媒体
摘要
古典中文诗歌与绘画代表了艺术表达的巅峰，但其抽象和符号化的关系给计算转换带来了重大挑战。大多数现有方法依赖大规模的配对数据集，而该领域的配对数据稀缺。本文提出一种半监督方法，利用循环一致对抗网络来利用有限的配对数据和大规模非配对诗歌与绘画语料。我们的关键思想是学习双向映射，以在视觉和文本模态之间强制实现语义对齐。我们引入了新的评估指标，以衡量生成诗词和绘画的质量、多样性和一致性。我们在新的中文绘画描述数据集（CPDD）上进行了大量实验。我们的方法优于以往方法，显示出在捕捉艺术表达的象征本质方面具有潜力。代码已在线上提供 \url{https://github.com/Mnster00/poemtopainting}。
引用
@article{arxiv.2410.19307,
title = {Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks},
author = {Zhengyang Lu and Tianhao Guo and Feng Wang},
journal= {arXiv preprint arXiv:2410.19307},
year = {2024}
}