在视觉叙事中融入文本证据
计算与语言
2019-11-26 v1 机器学习
摘要
先前关于视觉叙事的工作主要聚焦于将图像序列作为叙事证据，而忽视了用于引导故事生成的文本证据。受人类针对熟悉图像回忆故事的叙述过程启发，我们利用来自相似图像的文本证据来帮助生成连贯且有意义的故事。为挑选可能提供文本经验的图片，我们提出一种基于图像物体识别技术的两步排序方法。为利用文本信息，我们设计了一种具有双通道编码器和注意力的扩展Seq2Seq模型。在VIST数据集上的实验表明，我们的方法无需繁重工程即优于最先进的基线模型。
引用
@article{arxiv.1911.09334,
title = {Incorporating Textual Evidence in Visual Storytelling},
author = {Tianyi Li and Sujian Li},
journal= {arXiv preprint arXiv:1911.09334},
year = {2019}
}