用于自然语言时刻定位的多尺度二维时间邻接网络
计算机视觉与模式识别
2021-10-26 v2
摘要
我们解决了通过自然语言从未剪辑视频中检索特定时刻的问题。这是一个具有挑战性的问题，因为目标时刻可能发生在未剪辑视频中其他时间时刻的上下文中。现有方法不能很好地应对这一挑战，因为它们没有充分考虑时间时刻之间的时间上下文。在本文中，我们在不同时间尺度下通过一组预定义的二维图来建模视频时刻之间的时间上下文。对于每张图，一个维度表示时刻的起始时间，另一个维度表示持续时间。这些二维时间图能够覆盖不同长度的多样视频时刻，同时在不同的时间尺度上表示它们的邻接上下文。基于这些二维时间图，我们提出了一种多尺度时间邻接网络（MS-2D-TAN），这是一个用于时刻定位的单阶段框架。它能够编码每个尺度上的邻接时间上下文，同时学习判别性特征以将视频时刻与指代表达进行匹配。我们在三个具有挑战性的基准上评估了所提出的 MS-2D-TAN，即 Charades-STA、ActivityNet Captions 和 TACoS，其中我们的 MS-2D-TAN 优于当前最优方法。
引用
@article{arxiv.2012.02646,
title = {Multi-Scale 2D Temporal Adjacent Networks for Moment Localization with Natural Language},
author = {Songyang Zhang and Houwen Peng and Jianlong Fu and Yijuan Lu and Jiebo Luo},
journal= {arXiv preprint arXiv:2012.02646},
year = {2021}
}
备注
Accepted By TPAMI. arXiv admin note: text overlap with arXiv:1912.03590