说出你在寻找什么：语言学与视频搜索的结合

我们提出了一种方法，用于在大型视频语料库中搜索描述自然语言句子形式查询的视频片段。该方法利用组合语义学来编码其他系统丢失的细微含义，例如两个单词相同但含义完全不同的句子之间的差异：“人骑了马” vs. “马骑了人”。给定一个视频-句子对、一个自然语言解析器以及一个描述句子查询空间的语法，我们生成一个分数，指示视频对句子的描述程度。我们对语料库中的每个视频片段生成这样的分数，并返回一个排序后的片段列表。此外，该方法同时解决了两个基本问题：检测和跟踪对象，以及识别这些跟踪是否描述了查询。由于跟踪和对象检测都不可靠，该方法利用关于预期句子查询的知识来将跟踪器聚焦于相关参与者，并确保生成的跟踪被句子查询所描述。虽然早期的工作仅限于对应动词或名词的单词查询，但我们展示了如何搜索包含多个短语（如介词短语）和修饰语（如副词）的复杂查询。我们通过在10部全长好莱坞电影中搜索涉及人与马相互作用的141个查询来演示该方法。