学习二维时间相邻网络以基于自然语言定位视频时刻
计算机视觉与模式识别
2020-12-29 v3 信息检索
多媒体
摘要
我们研究通过查询语句从未剪辑视频中检索特定时刻的问题。这是一个具有挑战性的问题,因为目标时刻可能与未剪辑视频中其他时间时刻存在关联。现有方法无法很好应对该挑战,因为它们独立考虑各时间时刻而忽略了时间依赖关系。本文中,我们用二维图建模视频时刻间的时间关系,其中一维表示时刻起始时间,另一维表示结束时间。该2D时间图可覆盖不同长度的多样视频时刻,同时表征其相邻关系。基于该2D图,我们提出时间相邻网络(2D-TAN),一种用于时刻定位的单次框架。它能够编码相邻时间关系,同时学习判别性特征以匹配视频时刻与指称表达式。我们在三个具挑战性的基准——Charades-STA、ActivityNet Captions与TACoS上评估所提2D-TAN,其性能优于当前最优(state-of-the-art)。
引用
@article{arxiv.1912.03590,
title = {Learning 2D Temporal Adjacent Networks for Moment Localization with Natural Language},
author = {Songyang Zhang and Houwen Peng and Jianlong Fu and Jiebo Luo},
journal= {arXiv preprint arXiv:1912.03590},
year = {2020}
}
备注
This paper is accepted by AAAI 2020