“前情提要”：从回顾到情节概括

我们提出一种多模态情节概括方法，利用 TV 剧集的前情提要——这些是交织关键情节的短视频序列，用于让观众了解前情。我们提出 PlotSnap 数据集，包含两档犯罪惊悚 TV 剧，拥有丰富的前情提要和 40 分钟的长篇剧集。通过将回顾镜头匹配到剧集中对应的子情节，解锁情节概括标签。我们提出的层次模型 TaleSumm 通过创建紧凑的镜头和对话表示来处理整个剧集，并通过使局部故事组之间的交互来预测每个视频镜头和对话话语的重要性得分。不同于传统概括方法，本方法从长视频中提取多个情节点。我们对情节概括进行了彻底的评估，包括有前景的跨系列泛化。TaleSumm 在经典视频概括基准测试上也表现良好。