真实场景下基于活动视频的查询检索

本文关注不平衡场景下由视频查询进行活动检索。在当前基于活动视频查询的文献中，一个常见假设是学习嵌入时所有活动都有充足的标注样本。然而这一假设在实践中并不成立，因为仅有一部分活动拥有大量样本，而其他活动仅有少量样本描述。本文提出一种显式处理不平衡场景活动检索的视觉-语义嵌入网络。我们的网络包含两个新颖模块。视觉对齐模块在输入视频与所有活动的固定尺寸视觉库表示之间进行全局对齐。语义模块在输入视频与固定尺寸语义活动表示之间对齐。通过将视频与所有活动上尺寸相等的视觉和语义活动表示进行匹配，我们在检索中不再忽略低频活动。在一个新的不平衡活动检索基准上的实验显示了我们的方法对所有类型活动的有效性。