基于视觉与叙事组件的图像序列故事生成

人工智能近期研究聚焦于为视觉场景生成叙事故事。相较于仅对图像序列进行基础描述生成，该方法有望实现更类人的理解。本工作中，我们提出了一种基于Sequence to Sequence模型的图像序列故事生成方案。其创新之处在于，我们的编码器模型由两个独立编码器组成：一个建模图像序列的行为，另一个建模该图像序列中前一幅图像所生成的句子故事。通过图像序列编码器，我们捕获图像序列与句子故事之间的时间依赖关系；通过前句子故事编码器，我们实现了更好的故事流畅性。我们的方案生成长且类人的故事，不仅描述图像序列的视觉语境，还包含叙事与评价性语言。所得结果经人工评测确认。