知识增强的视觉讲故事
计算与语言
2019-12-04 v1
摘要
故事是多样化且高度个性化的，导致故事生成具有很大的可能输出空间。现有的端到端方法产生单调的故事，因为它们受限于单一训练数据集中的词汇和知识。本文介绍了KG-Story，一个三阶段框架，允许故事生成模型利用外部知识图谱来生成有趣的故事。KG-Story从输入提示中提炼一组代表性词语，通过使用外部知识图谱丰富该词集，最后基于丰富后的词集生成故事。这种提炼-丰富-生成框架允许在丰富阶段以及提炼和生成阶段使用外部资源。在本文中，我们展示了KG-Story在视觉讲故事方面的优越性，其中输入提示是五张照片的序列，输出是一个短故事。根据人工排序评估，KG-Story生成的故事平均排名优于最先进系统。我们的代码和输出故事可在 https://github.com/zychen423/KE-VIST 获取。
引用
@article{arxiv.1912.01496,
title = {Knowledge-Enriched Visual Storytelling},
author = {Chao-Chun Hsu and Zi-Yuan Chen and Chi-Yang Hsu and Chih-Chia Li and Tzu-Yuan Lin and Ting-Hao 'Kenneth' Huang and Lun-Wei Ku},
journal= {arXiv preprint arXiv:1912.01496},
year = {2019}
}
备注
AAAI 2020