从预告片到故事线:一种从电影中高效学习的方法
计算机视觉与模式识别
2018-06-15 v1
摘要
人类历史上制作的数百万部电影是计算机视觉研究的宝贵资源。然而,从电影数据中学习视觉模型会遇到严重困难。一个主要障碍是计算成本——电影时长常超过一小时,远长于以往研究主要关注的短视频片段。本文中,我们探索一种从电影中学习视觉模型的替代方法。具体地,我们考虑一个由视觉模块和时间分析模块组成的框架。与常规学习方法不同,所提方法从不同数据集学习这些模块——前者从预告片,后者从电影。这使得独特的视觉特征能在合理预算内学习,同时保留整部电影中的长期时间结构。我们为此研究构建了大规模数据集并定义了一系列上层任务。在该数据集上的实验表明,所提方法能大幅减少训练时间,同时获得高效特征与连贯时间结构。
引用
@article{arxiv.1806.05341,
title = {From Trailers to Storylines: An Efficient Way to Learn from Movies},
author = {Qingqiu Huang and Yuanjun Xiong and Yu Xiong and Yuqi Zhang and Dahua Lin},
journal= {arXiv preprint arXiv:1806.05341},
year = {2018}
}