一种基于提案的活动图像到视频检索方法
计算机视觉与模式识别
2019-11-26 v1 多媒体
图像与视频处理
摘要
活动图像到视频检索任务旨在检索包含与查询图像相似活动的视频，这是一项具有挑战性的任务，因为视频通常含有许多与该活动无关的背景片段。在本文中，我们利用 R-C3D 模型将视频表示为一组活动提案，这能在一定程度上过滤掉背景片段。然而，每个提案集中仍存在噪声提案。因此，我们提出一种基于活动提案的图像到视频检索 (APIVR) 方法，将多示例学习引入跨模态检索框架以解决提案噪声问题。具体而言，我们提出一个带有图卷积层的图多示例学习 (GMIL) 模块，并将该模块与分类损失、对抗损失和三元组损失集成于我们的跨模态检索框架中。此外，我们基于点到子空间距离提出几何感知三元组损失，以保留活动提案的结构信息。在三个广泛使用的数据集上的大量实验验证了我们所提方法的有效性。
引用
@article{arxiv.1911.10531,
title = {A Proposal-based Approach for Activity Image-to-Video Retrieval},
author = {Ruicong Xu and Li Niu and Jianfu Zhang and Liqing Zhang},
journal= {arXiv preprint arXiv:1911.10531},
year = {2019}
}
备注
The Thirty-Fourth AAAI Conference on Artificial Intelligence