基于常识知识感知概念选择的多样且信息丰富的视觉叙事

视觉叙事是为给定图像序列生成相关且有趣故事的任务。本工作中，我们旨在增加生成故事的多样性，同时保留图像中的信息内容。我们提出通过使用一个概念选择模块来建议一组概念候选，以增进生成故事的多样性和信息丰富度。然后，我们利用大规模预训练模型将概念和图像转换为完整故事。为丰富候选概念，为每幅图像序列创建常识知识图，并从中提出概念候选。为从图中获得恰当概念，我们提出两个新颖模块，考虑候选概念间的相关性以及图像-概念相关性。大量自动与人工评估结果证明我们的模型能生成合理概念。这使得我们的模型在故事的多样性和信息丰富度上大幅超越先前模型，同时保持故事与图像序列的相关性。