VRAG：用于基于内容视频检索的区域注意力图
计算机视觉与模式识别
2022-05-19 v1 多媒体
摘要
基于内容的视频检索（CBVR）被用于媒体分享平台上的视频推荐和过滤等应用。为了管理规模达数十亿视频的数据库，由于效率原因，使用固定大小嵌入的视频级方法更受青睐。在本文中，我们提出视频区域注意力图网络（VRAG），改进了视频级方法的最先进水平。我们通过区域级特征以更细的粒度表示视频，并通过区域级关系编码视频的时空动态。我们的 VRAG 基于区域的语义内容通过自注意力以及图卷积的置换不变聚合来捕获区域之间的关系。此外，我们表明，通过将视频分割为镜头并使用镜头嵌入进行视频检索，可以缩小视频级与帧级方法之间的性能差距。我们在多个视频检索任务上评估了我们的 VRAG，并实现了视频级检索的新最先进水平。此外，我们的镜头级 VRAG 显示出比其他现有视频级方法更高的检索精度，并以更快的评估速度达到了接近帧级方法的性能。最后，我们的代码将公开可用。
引用
@article{arxiv.2205.09068,
title = {VRAG: Region Attention Graphs for Content-Based Video Retrieval},
author = {Kennard Ng and Ser-Nam Lim and Gim Hee Lee},
journal= {arXiv preprint arXiv:2205.09068},
year = {2022}
}