第一人称视频中的时间显著性自适应
计算机视觉与模式识别
2018-09-06 v2
摘要
本工作将用于图像显著性预测的深度神经模型适配到第一人称视频的时间域。我们对每个视频帧计算显著性图：首先使用从静态图像训练的现成模型，其次通过添加使用视频显著性预测数据集训练的卷积或卷积LSTM层。我们在EgoMon上研究了每种配置，EgoMon是一个由三名受试者在自由观看和任务驱动设置下录制的七段第一人称视频组成的新数据集。我们的结果表明，当观看者不移动且从窄视场观察场景时，时间自适应是有益的。受此观察启发，我们计算并发布了EPIC Kitchens数据集（其中观看者正在烹饪）的显著性图。源代码和模型可在 https://imatge-upc.github.io/saliency-2018-videosalgan/ 获取。
引用
@article{arxiv.1808.09559,
title = {Temporal Saliency Adaptation in Egocentric Videos},
author = {Panagiotis Linardos and Eva Mohedano and Monica Cherto and Cathal Gurrin and Xavier Giro-i-Nieto},
journal= {arXiv preprint arXiv:1808.09559},
year = {2018}
}
备注
Extended abstract at the ECCV 2018 Workshop on Egocentric Perception, Interaction and Computing (EPIC)