基于双向多线程循环神经网络的照片流视觉叙事
计算机视觉与模式识别
2016-06-03 v1
摘要
视觉叙事旨在从照片流中生成人类水平的叙事语言（即包含多个句子的自然段落）。典型的照片故事由具有多线程局部故事线的全局时间线组成，其中每条故事线发生在不同的场景中。这种复杂结构导致连续照片之间场景转换处出现较大的内容鸿沟。大多数现有的图像/视频字幕生成方法只能取得有限性能，因为传统循环神经网络(RNN)中的单元在视觉序列不一致时倾向于“遗忘”先前的状态。本文提出一种基于双向多线程循环神经网络(BMRNN)的新型视觉叙事方法。首先，基于挖掘的局部故事线，提出一种带延迟控制的跳跃门控循环单元(sGRU)以维持更长范围的视觉信息。其次，使用sGRU作为基本单元，训练BMRNN将局部故事线对齐到全局顺序时间线。第三，通过联合考虑全局与局部匹配，提出一种带有故事线约束目标函数的新的训练方案。在三个标准叙事数据集上的实验表明，BMRNN模型优于最先进的方法。
引用
@article{arxiv.1606.00625,
title = {Storytelling of Photo Stream with Bidirectional Multi-thread Recurrent Neural Network},
author = {Yu Liu and Jianlong Fu and Tao Mei and Chang Wen Chen},
journal= {arXiv preprint arXiv:1606.00625},
year = {2016}
}