用于视频级标签时间定位的多重注意力网络
计算机视觉与模式识别
2019-11-19 v1
摘要
时间定位仍是视频理解中的重要挑战。本工作中，我们给出针对 Google Research 组织的第三届 YouTube-8M 视频理解挑战赛的解决方案。参与者需利用带噪声视频级标签的大规模训练集与带精确片段级标签的相对小规模验证集，构建片段级分类器。我们将该问题表述为多示例多标签学习，并开发基于注意力的机制，通过注意力权重选择性强调重要帧。通过构建多组注意力网络进一步提升了模型性能。我们利用片段级数据集对模型进行了微调。我们的最终模型由注意力/多重注意力网络、deep bag of frames 模型、循环神经网络与卷积神经网络的集成构成。其在私有排行榜排名第 13，并以资源的高效利用而突出。
引用
@article{arxiv.1911.06866,
title = {Multi-attention Networks for Temporal Localization of Video-level Labels},
author = {Lijun Zhang and Srinath Nizampatnam and Ahana Gangopadhyay and Marcos V. Conde},
journal= {arXiv preprint arXiv:1911.06866},
year = {2019}
}
备注
7 pages, 3 figures; This work was presented at the 3rd Workshop on YouTube-8M Large-Scale Video Understanding, at the International Conference on Computer Vision (ICCV 2019) in Seoul, Korea