面向大规模Youtube-8M视频理解的时间建模方法
计算机视觉与模式识别
2017-07-17 v1
摘要
本文描述了我们在Google Cloud与YouTube-8M视频理解挑战赛的视频识别任务中获得第三名的解决方案。由于挑战赛提供预提取的视觉和音频特征而非原始视频，我们主要研究各种时间建模方法以聚合帧级特征用于多标签视频识别。我们的系统包含三个主要组件：双流序列模型、快进序列模型和时间残差神经网络。在具有挑战性的Youtube-8M数据集上的实验结果表明，我们提出的时间建模方法能显著改进现有大规模视频识别任务中的时间建模方法。需注意，我们深度为7层的快进LSTM在Kaggle公开测试集上以GAP@20衡量达到了82.75%。
引用
@article{arxiv.1707.04555,
title = {Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding},
author = {Fu Li and Chuang Gan and Xiao Liu and Yunlong Bian and Xiang Long and Yandong Li and Zhichao Li and Jie Zhou and Shilei Wen},
journal= {arXiv preprint arXiv:1707.04555},
year = {2017}
}
备注
To appear on CVPR 2017 YouTube-8M Workshop(Rank 3rd out of 650 teams)