从教学视频及其解说中学习过程感知的视频表征
计算机视觉与模式识别
2023-04-03 v1 人工智能
计算与语言
机器学习
多媒体
摘要
互联网上丰富的教学视频及其解说为理解程序性活动提供了一条令人振奋的途径。在本工作中，我们提出基于大规模网络教学视频及其解说数据集，在无需人工标注的情况下，学习同时编码动作步骤及其时间顺序的视频表征。我们的方法联合学习一个视频表征以编码单个步骤概念，以及一个深度概率模型以捕捉步骤顺序中的时间依赖关系和巨大的个体差异。我们通过实验证明，学习时间顺序不仅能够实现过程推理的新能力，还能强化对单个步骤的识别。我们的模型在步骤分类（COIN / EPIC-Kitchens 上 +2.8% / +3.3%）和步骤预测（COIN 上 +7.4%）上显著推进了 SOTA 结果。此外，我们的模型在步骤分类与预测的零样本推断，以及为不完整过程预测多样且合理的步骤方面，均取得了有前景的结果。我们的代码可在 https://github.com/facebookresearch/ProcedureVRL 获取。
引用
@article{arxiv.2303.17839,
title = {Learning Procedure-aware Video Representation from Instructional Videos and Their Narrations},
author = {Yiwu Zhong and Licheng Yu and Yang Bai and Shangwen Li and Xueting Yan and Yin Li},
journal= {arXiv preprint arXiv:2303.17839},
year = {2023}
}
备注
Accepted to CVPR 2023