用于视频重定位的图神经网络
计算机视觉与模式识别
2022-01-27 v2 机器学习
图像与视频处理
摘要
本文关注视频重定位任务，该任务以查询视频片段为输入，在另一未裁剪长视频中检索语义相关视频片段。我们发现视频重定位数据集中存在一种现象：按帧的特征相似度与按视频的特征相似度之间不存在一致关系，这影响了帧间的特征融合。然而，现有视频重定位方法并未充分考虑这一点。考虑到该现象，本文将查询视频特征与候选视频特征沿时间维度拼接，将视频特征视为图，其中每个时间步视为节点，特征矩阵的每一行视为各节点的特征。然后，借助图神经网络的能力，我们提出多图特征融合模块来融合该图的关系特征。在 ActivityNet v1.2 数据集与 Thumos14 数据集上评估我们的方法后，我们发现所提方法优于最先进的方法。
引用
@article{arxiv.2007.09877,
title = {Graph Neural Network for Video Relocalization},
author = {Yuan Zhou and Mingfei Wang and Ruolin Wang and Shuwei Huo},
journal= {arXiv preprint arXiv:2007.09877},
year = {2022}
}