Movie101v2：改进的电影叙述基准
计算机视觉与模式识别
2024-10-21 v2 计算与语言
多媒体
摘要
自动电影叙述旨在生成与视频时间线对齐的情节描述，以帮助视障人群。与标准视频标题生成不同，它不仅要描述关键视觉细节，还要推断贯穿多个电影镜头的情节发展，具有distinct且复杂的挑战。为推进该领域，我们引入Movie101v2，这是一个大规模、双语且数据质量得到提升的电影叙述数据集。我们重新审视了该任务，提出将最终目标的自动电影叙述分解为三个渐进阶段，提供清晰的路线图并对应地提出评估指标。基于我们新的基准，我们对一系列大型视觉-语言模型（包括GPT-4V）进行基准测试，并深入分析了叙述生成中的挑战。我们的发现表明，实现可用的电影叙述生成是一个令人着迷的目标，需要相当大的研究工作。
引用
@article{arxiv.2404.13370,
title = {Movie101v2: Improved Movie Narration Benchmark},
author = {Zihao Yue and Yepeng Zhang and Ziheng Wang and Qin Jin},
journal= {arXiv preprint arXiv:2404.13370},
year = {2024}
}