SVIP：视频中流程的步骤序列验证
计算机视觉与模式识别
2022-05-11 v4
摘要
在本文中，我们提出一种新颖的序列验证任务，旨在区分执行相同动作序列的正视频对，与虽仍执行相同任务但具有步骤级变换的负视频对。这一极具挑战性的任务处于开放集设定下，无需先验的动作检测或分割，且要求事件级甚至帧级标注。为此，我们精心重组了两个公开的动作相关数据集，其具有步骤-流程-任务结构。为充分考察任意方法的有效性，我们收集了一个脚本化视频数据集，枚举了化学实验中各类步骤级变换。此外，引入一种新颖的评估指标加权距离比（Weighted Distance Ratio），以确保评估中不同步骤级变换的等价性。最后，提出了一个基于 transformer 编码器与新颖序列对齐损失的简单而有效的基线，以更好地刻画步骤间的长期依赖，其性能优于其他动作识别方法。代码与数据将公开。
引用
@article{arxiv.2112.06447,
title = {SVIP: Sequence VerIfication for Procedures in Videos},
author = {Yicheng Qian and Weixin Luo and Dongze Lian and Xu Tang and Peilin Zhao and Shenghua Gao},
journal= {arXiv preprint arXiv:2112.06447},
year = {2022}
}
备注
Accepted by CVPR2022. For the included dataset, see https://svip-lab.github.io/dataset/CSV_dataset.html