中文

走向自动化电影预告片生成

计算机视觉与模式识别 2024-04-05 v1

摘要

电影预告片是宣传电影和吸引观众的重要工具。然而,制作预告片的过程可能既耗时又昂贵。为了简化这一过程,我们提出了一种自动预告片生成框架,通过自动化镜头选择与组合从完整电影中生成合理的预告片。我们的方法从机器翻译技术中汲取灵感,将电影和预告片建模为镜头序列,从而将预告片生成问题表述为序列到序列任务。我们引入了 Trailer Generation Transformer (TGT),一种利用编码器-解码器架构的深度学习框架。TGT 电影编码器负责通过自注意力机制对每个电影镜头表示进行上下文化处理,而自回归预告片解码器则预测下一个预告片镜头的特征表示,并考虑预告片中镜头时间顺序的相关性。我们的 TGT 在一套全面的指标上显著优于以往方法。

关键词

引用

@article{arxiv.2404.03477,
  title  = {Towards Automated Movie Trailer Generation},
  author = {Dawit Mureja Argaw and Mattia Soldan and Alejandro Pardo and Chen Zhao and Fabian Caba Heilbron and Joon Son Chung and Bernard Ghanem},
  journal= {arXiv preprint arXiv:2404.03477},
  year   = {2024}
}

备注

Accepted to CVPR 2024