通过循环神经网络学习视频故事合成
计算机视觉与模式识别
2018-02-01 v1
摘要
在本文中,我们提出一种基于学习的方法,从描述一项活动或经历的一组视频片段中合成视频故事。我们通过循环神经网络(RNN)从真实视频中学习视频片段间的连贯性,该网络联合融入时空语义与运动动态以生成平滑且相关的合成结果。我们进一步通过子模排序优化过程对RNN生成的结果进行重排,使整体视频故事与故事线结构相容。在视频故事数据集上的实验结果表明,所提算法优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.1801.10281,
title = {Learning Video-Story Composition via Recurrent Neural Network},
author = {Guangyu Zhong and Yi-Hsuan Tsai and Sifei Liu and Zhixun Su and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:1801.10281},
year = {2018}
}