Moviescope：基于多模态的电影大规模分析
计算机视觉与模式识别
2019-08-09 v1
摘要
电影媒体是一种丰富的艺术表达形式。与摄影和短视频不同，电影包含刻意复杂精巧的故事线以吸引观众。本文提出一项大规模研究，比较视觉、音频、文本和基于元数据的特征在预测电影高层信息（如类型或预估预算）方面的有效性。我们展示了在深度学习时代，基于内容的方法在该领域的效用，以对比基于人类和基于元数据的预测。此外，我们对表示视频和文本的时间特征聚合方法进行了全面研究，发现简单池化操作在该领域行之有效。我们还展示了不同模态在何种程度上互为补充。为此，我们引入了Moviescope，一个包含5000部电影及其对应电影预告片（视频+音频）、电影海报（图像）、电影情节（文本）和元数据的新的大规模数据集。
引用
@article{arxiv.1908.03180,
title = {Moviescope: Large-scale Analysis of Movies using Multiple Modalities},
author = {Paola Cascante-Bonilla and Kalpathy Sitaraman and Mengjia Luo and Vicente Ordonez},
journal= {arXiv preprint arXiv:1908.03180},
year = {2019}
}