视觉故事中重要角色的检测与定位

角色是任何故事情节的要素。在写故事前确立角色可提升情节清晰度与叙事整体流畅性。然而，以往视觉叙事工作倾向于关注图像中物体检测及它们之间关系的发现；在该方法中，角色作为其他物体被输入生成流水线而未加区分，结果是一系列连贯事件而非以角色为中心的故事。为应对此局限，我们引入 VIST-Character 数据集，其提供丰富的以角色为中心的标注，包括视觉与文本共指链及角色重要性评分。基于该数据集，我们提出两项新任务：视觉故事中的重要角色检测与角色定位。对两项任务，我们开发了基于分布相似性与预训练视觉-语言模型的简单无监督模型。我们的新数据集与这些模型可作为后续从以角色为中心视角分析与生成故事工作的基础。