细粒度实例级基于草图的视频检索
计算机视觉与模式识别
2020-02-24 v1 多媒体
摘要
现有的草图分析工作研究描绘静态物体或场景的草图。在这项工作中，我们提出了一种新颖的跨模态检索问题：细粒度实例级基于草图的视频检索（FG-SBVR），其中使用草图序列作为查询来检索特定的目标视频实例。与基于草图的静态图像检索以及粗粒度类别级视频检索相比，这更具挑战性，因为视觉外观和运动需要在细粒度水平上同时匹配。我们贡献了首个带有丰富标注的 FG-SBVR 数据集。然后我们引入了一种新颖的多流多模态深度网络，在强监督和弱监督设置下执行 FG-SBVR。该网络的关键组件是一个关系模块，旨在防止模型在训练数据稀缺时过拟合。我们表明，该模型显著优于许多为视频分析设计的现有 SOTA 模型。
引用
@article{arxiv.2002.09461,
title = {Fine-Grained Instance-Level Sketch-Based Video Retrieval},
author = {Peng Xu and Kun Liu and Tao Xiang and Timothy M. Hospedales and Zhanyu Ma and Jun Guo and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2002.09461},
year = {2020}
}