用于高效视频识别的时间显著性查询网络
计算机视觉与模式识别
2022-07-22 v1
摘要
随着互联网和移动设备上多媒体数据的爆炸式增长,高效视频识别是一个热点研究课题。大多数现有方法在选择显著帧时未考虑类别相关的显著性分数,忽视了帧的显著性与所属类别之间的隐含关联。为缓解该问题,我们设计了一种新颖的时间显著性查询(TSQ)机制,引入类别特定信息为显著性度量提供细粒度线索。具体而言,我们将类别相关的显著性度量过程建模为一个查询—响应任务。对于每个类别,其共同模式被用作查询,最显著的帧对其作出响应。随后,计算得到的相似度被用作帧显著性分数。为实现该机制,我们提出了时间显著性查询网络(TSQNet),包含基于视觉外观相似度和文本事件—对象关系的两种 TSQ 机制实例。之后,施加跨模态交互以促进二者间的信息交换。最后,我们利用两种模态生成的最置信类别的类别特定显著性来执行显著帧的选择。大量实验通过在 ActivityNet、FCVID 和 Mini-Kinetics 数据集上取得最先进结果,证明了我们方法的有效性。我们的项目页面位于 https://lawrencexia2008.github.io/projects/tsqnet 。
引用
@article{arxiv.2207.10379,
title = {Temporal Saliency Query Network for Efficient Video Recognition},
author = {Boyang Xia and Zhihao Wang and Wenhao Wu and Haoran Wang and Jungong Han},
journal= {arXiv preprint arXiv:2207.10379},
year = {2022}
}
备注
Accepted by ECCV 2022