基于具体与抽象信息从图像生成中国诗歌
计算与语言
2020-03-25 v1 计算机视觉与模式识别
摘要
近年来，古典中国诗歌的自动生成取得了很大进展。除关注提升生成诗歌的质量外，从图像生成诗歌成为一个新课题。然而，该课题的现有方法仍存在主题漂移与语义不一致的问题，且训练这些模型时图像-诗歌配对数据集难以构建。本文提取并融合图像中的具体与抽象信息以解决上述问题。我们提出了一种基于填充的中国诗歌生成模型，可显式地将具体关键词填入诗句各行，以及一种抽象信息嵌入机制将抽象信息整合进生成诗歌。此外，我们在训练中使用非平行数据，并分别构建图像数据集与诗歌数据集以训练框架中的不同组件。自动与人工评测结果均表明，我们的方法能生成与图像一致性更好且不损失质量的诗歌。
引用
@article{arxiv.2003.10773,
title = {Generating Chinese Poetry from Images via Concrete and Abstract Information},
author = {Yusen Liu and Dayiheng Liu and Jiancheng Lv and Yongsheng Sang},
journal= {arXiv preprint arXiv:2003.10773},
year = {2020}
}
备注
Accepted by the 2020 International Joint Conference on Neural Networks (IJCNN 2020)