细察教学视频分割中的时间顺序
计算机视觉与模式识别
2022-10-11 v2
摘要
理解执行任务所需步骤是 AI 系统的一项重要技能。从教学视频中学习这些步骤涉及两个子问题：(i) 识别顺序出现片段的时间边界，以及 (ii) 用自然语言概括这些步骤。我们将此任务称为过程分割与概括（PSS）。本文仔细审视 PSS，并针对当前方法提出三项基础性改进。分割任务至关重要，因为生成正确概括要求过程的每一步都被正确识别。然而，当前分割度量常高估分割质量，因其未考虑片段的时间顺序。在我们的第一项贡献中，我们提出一种考虑片段顺序的新分割度量，为给定预测分割的准确性提供更可靠的度量。当前 PSS 方法通常通过提议片段、将其与真值匹配并计算损失来训练。然而，正如分割度量一样，现有匹配算法未考虑候选片段与真值之间映射的时间顺序。在我们的第二项贡献中，我们提出一种约束片段映射时间顺序且可微的匹配算法。最后，我们为 PSS 引入多模态特征训练，进一步改进分割。我们在两个教学视频数据集（YouCook2 与 Tasty）上评估了我们的方法，观察到过程分割与概括分别相较最先进水平（SOTA）提升约 与约 。
引用
@article{arxiv.2209.15501,
title = {A Closer Look at Temporal Ordering in the Segmentation of Instructional Videos},
author = {Anil Batra and Shreyank N Gowda and Frank Keller and Laura Sevilla-Lara},
journal= {arXiv preprint arXiv:2209.15501},
year = {2022}
}
备注
Accepted at BMVC 2022