MoviePuzzle：通过多模态顺序学习的视觉叙事推理
计算机视觉与模式识别
2025-06-03 v3
摘要
我们提出MoviePuzzle，一项针对视觉叙事推理与整体电影理解的新挑战。尽管视频理解领域已取得显著进展，多数先前工作未能提出任务与模型来解决长视频中整体视频理解及内在视觉叙事结构的问题。为应对此困境，我们提出MoviePuzzle任务，通过在存在视频-对话信息的情况下重排电影片段的镜头、帧与剪辑层，来强化视频模型的时间特征学习与结构学习。我们首先基于MovieNet建立精细数据集，将电影解构为层次化层级并随机置换顺序。除用电影理解现有方法评测MoviePuzzle外，我们设计了层次对比电影聚类（HCMC）模型，该模型考虑潜在结构与视觉语义顺序以重排电影。具体地，通过成对与对比学习方式，我们训练模型预测每一层级的正确顺序。这使其具备解读电影视觉叙事结构与处理视频数据中无序问题的能力。实验表明，我们的方法在\MoviePuzzle基准上优于现有最先进方法，凸显其有效性。
引用
@article{arxiv.2306.02252,
title = {MoviePuzzle: Visual Narrative Reasoning through Multimodal Order Learning},
author = {Jianghui Wang and Yuxuan Wang and Dongyan Zhao and Zilong Zheng},
journal= {arXiv preprint arXiv:2306.02252},
year = {2025}
}