一种连接电影与剧情简介的基于图的框架
计算机视觉与模式识别
2019-10-25 v1
摘要
受视频分析显著进展的启发，研究团队正迈向更宏大的目标——电影理解。然而，与常规数据集中的那些活动视频相比，电影存在显著差异。一般而言，电影时长更长且包含更丰富的时间结构。更重要的是，角色间的交互在表达潜在故事中起核心作用。为推进该方向的研究，我们构建了覆盖 327 部电影的电影-简介关联（MSA）数据集，为每部电影提供一段剧情简介，并标注了简介段落与电影片段之间的关联。在此数据集基础上，我们开发了一个框架来执行电影片段与简介段落之间的匹配。该框架整合了电影的不同方面，包括事件动态与角色交互，并基于一种基于图的表述使其能与解析后的段落相匹配。我们的研究表明，所提框架相较传统的基于特征的方法显著提升了匹配准确率，同时也揭示了叙事结构与角色交互在电影理解中的重要性。
引用
@article{arxiv.1910.11009,
title = {A Graph-Based Framework to Bridge Movies and Synopses},
author = {Yu Xiong and Qingqiu Huang and Lingfeng Guo and Hang Zhou and Bolei Zhou and Dahua Lin},
journal= {arXiv preprint arXiv:1910.11009},
year = {2019}
}
备注
Accepted by ICCV 2019 (oral)