基于时间关联序列的自我中心视频描述
计算机视觉与模式识别
2017-11-10 v3
摘要
自我中心视觉包括使用可穿戴相机从第一人称视角在一天中采集图像。对此信息的自动分析可发现日常模式，从而改善用户生活质量。自我中心视觉中一个自然出现的主题是讲故事，即如何理解与讲述图片背后的故事。本文将讲故事作为自我中心序列描述问题来处理。我们提出一种利用时间相邻事件信息的新方法，精确匹配自我中心序列的本质。此外，我们提出一种由多输入注意力循环网络组成的多模态数据融合新方法。我们还发布了首个用于自我中心图像序列描述的数据集，包含来自11人55天获取的1,339个事件及3,991条描述。此外，我们证明我们的方案优于用于视频描述的经典注意力编码器-解码器方法。
引用
@article{arxiv.1704.02163,
title = {Egocentric Video Description based on Temporally-Linked Sequences},
author = {Marc Bolaños and Álvaro Peris and Francisco Casacuberta and Sergi Soler and Petia Radeva},
journal= {arXiv preprint arXiv:1704.02163},
year = {2017}
}
备注
19 pages, 10 figures, 3 tables. Submitted to Journal of Visual Communication and Image Representation