在完整电影中学习预告片时刻
计算机视觉与模式识别
2020-08-20 v1
摘要
电影的关键时刻在剧本中脱颖而出，以吸引观众注意并实现高效的电影浏览。但缺乏标注使得现有方法不适用于电影关键时刻检测。为摆脱人工标注，我们利用官方发布的预告片作为弱监督来学习可从完整电影中检测关键时刻的模型。我们引入一种新颖的排序网络，利用电影与预告片之间的协同注意力（Co-Attention）作为引导来生成训练对，其中与预告片高度相关的时刻预期得分高于不相关的时刻。此外，我们提出对比注意力（Contrastive Attention）模块以增强特征表示，从而最大化关键时刻与非关键时刻特征之间的比较对比。我们构建了首个电影-预告片数据集，且所提出的协同注意力辅助排序网络甚至优于有监督方法。我们的对比注意力模块在公开基准上相较最先进水平（SOTA）的性能提升也证明了其有效性。
引用
@article{arxiv.2008.08502,
title = {Learning Trailer Moments in Full-Length Movies},
author = {Lezi Wang and Dong Liu and Rohit Puri and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2008.08502},
year = {2020}
}
备注
Accepted by ECCV2020