Movie101:一个新的电影理解基准
计算机视觉与模式识别
2023-06-28 v2 多媒体
摘要
为帮助视障人士欣赏电影,自动电影解说系统需要在演员无对白时解说准确、连贯且角色感知的情节。现有工作通过若干简化将该挑战作为常规视频字幕任务进行基准测试,例如去除角色名称并使用基于 n-gram 的指标评估解说,这使得自动系统难以满足真实应用场景的需求。为缩小这一差距,我们构建了一个大规模中文电影基准,名为 Movie101。更贴近真实场景,我们基准中的电影片段解说(MCN)任务要求模型为演员无对白的完整电影片段生成角色感知的解说段落。角色信息和电影类型等外部知识也一并提供,以促进更好的电影理解。此外,我们提出了一种称为电影解说分数(MNScore)的新指标用于电影解说评估,其与人类评估的相关性最佳。我们的基准还支持时间解说定位(TNG)任务,以研究给定文本描述下的片段定位。对于这两项任务,我们提出的方法均很好地利用了外部知识,并优于精心设计的基线。数据集与代码发布于 https://github.com/yuezih/Movie101。
引用
@article{arxiv.2305.12140,
title = {Movie101: A New Movie Understanding Benchmark},
author = {Zihao Yue and Qi Zhang and Anwen Hu and Liang Zhang and Ziheng Wang and Qin Jin},
journal= {arXiv preprint arXiv:2305.12140},
year = {2023}
}
备注
Accepted to ACL 2023