ScreenWriter: 自动生成剧本与电影概述

创意视频内容的不断涌现推动了对文本描述或概述的需求,以便用户在不观看的情况下回忆起关键情节或获取概览。电影内容的庞大规模和更快的更新速度动员了自动概述,但这仍然具有挑战,需要识别角色意图和非常长的范围时间依赖关系。现有方法尝试解决此任务时,高度依赖文本剧本作为输入，大大限制了其适用性。在本工作中,我们提出了自动剧本生成的任务,并提出了一种方法 ScreenWriter,该方法仅基于视频运行,并产生包括对话、说话人姓名、场景中断和视觉描述的输出。ScreenWriter 引入了一种基于视觉向量序列将视频分割为场景的新算法,以及一种用于确定角色姓名的新方法,该方法基于演员面孔的数据库。我们进一步展示了这些自动剧本如何用于生成剧情概述,方法基于场景中断的层次化概述方法。我们在最近的 MovieSum 数据集上测试最终概述的质量,该数据集我们增补了视频,并显示其优于多个假设可访问金标准剧本的比较模型。