导航教学视频的“绕行”方法

我们引入了用于导航教学视频的视频绕行问题。给定一个源视频和一个自然语言查询，要求以特定方式改变该操作指南视频当前的执行路径，目标是找到一个满足所请求变更的相关“绕行视频”。为应对这一挑战，我们提出了 VidDetours，这是一种新颖的视频-语言方法，它学习使用基于视频和文本的条件查询，从大型操作指南存储库中检索目标时间片段。此外，我们设计了一个基于语言的流程，利用操作指南视频的旁白文本创建弱监督训练数据。我们展示了将该想法应用于烹饪教学视频领域，用户可以从当前食谱“绕行”，以寻找包含替代食材、工具和技巧的步骤。在一个包含 16K 样本的真实标注数据集上进行验证，我们展示了该模型相较于现有最佳视频检索和问答方法的显著改进，召回率超出当前最优水平 35%。