利用跳跃循环神经网络学习视觉故事线
计算机视觉与模式识别
2016-07-28 v2
摘要
一次典型的巴黎之行是什么样？人们是否先拍摄卢浮宫然后埃菲尔铁塔？我们能否用当前框架对“巴黎度假”这类时间事件进行视觉建模？本文中，我们探索如何自动从网络数据学习视觉概念的时间方面（或故事线）。先前尝试聚焦于连续的图像到图像转换，未能成功恢复长期的潜在故事。我们新颖的跳跃循环神经网络(S-RNN)模型不像经典RNN那样试图预测序列中的每一个数据点。相反，S-RNN使用一种框架，通过高效的采样过程跳过照片流中的图像，以探索相册所有有序子集的空间。该方法减少了强短期相关性的负面影响，并更准确地恢复潜在故事。我们展示了学到的故事线如何用于分析、预测和总结Flickr中的相册。我们的实验结果提供了强有力的定性和定量证据，表明S-RNN在学习长期相关性和恢复潜在故事线方面显著优于其他候选方法（如LSTM）。此外，我们展示了故事线如何通过推断每个相册的简要个性化故事，帮助机器更好地理解和总结照片流。
引用
@article{arxiv.1604.04279,
title = {Learning Visual Storylines with Skipping Recurrent Neural Networks},
author = {Gunnar A. Sigurdsson and Xinlei Chen and Abhinav Gupta},
journal= {arXiv preprint arXiv:1604.04279},
year = {2016}
}
备注
European Conference on Computer Vision (ECCV) 2016