MovieNet：面向电影理解的整体性数据集
计算机视觉与模式识别
2020-07-22 v1
摘要
近年来，视觉理解取得了显著进展。然而，如何理解具有艺术风格的、基于故事的長视频（如电影）仍然具有挑战性。本文介绍了 MovieNet——一个面向电影理解的整体性数据集。MovieNet 包含 1100 部电影及大量多模态数据，如预告片、剧照、剧情描述等。此外，MovieNet 提供了不同方面的人工标注，包括带边界框和身份信息的 110 万角色、4.2 万场景边界、2.5 千对齐描述句、6.5 万地点与动作标签，以及 9.2 万电影风格标签。据我们所知，MovieNet 是用于综合电影理解的最大且标注最丰富的数据集。基于 MovieNet，我们从不同角度建立了若干电影理解基准。在这些基准上进行了大量实验，以展示 MovieNet 的不可估量的价值以及当前方法通向综合电影理解的差距。我们相信，这样一个整体性数据集将推动基于故事的长视频理解及相关领域的研究。MovieNet 将按照相关规定发布于 https://movienet.github.io。
引用
@article{arxiv.2007.10937,
title = {MovieNet: A Holistic Dataset for Movie Understanding},
author = {Qingqiu Huang and Yu Xiong and Anyi Rao and Jiaze Wang and Dahua Lin},
journal= {arXiv preprint arXiv:2007.10937},
year = {2020}
}
备注
Accepted by ECCV2020 as spotlight presentation. Project page: http://movienet.site