教学视频中动作的无人监督发现
计算机视觉与模式识别
2021-06-29 v1
摘要
在本文中，我们解决了从教学视频中以无监督方式自动发现原子动作的问题。教学视频包含复杂活动，是智能体（例如自主机器人或虚拟助手）的丰富信息源，它们可以例如自动从教学视频中“读取”步骤并执行它们。然而，视频很少用原子活动、其边界或持续时间进行标注。我们提出了一种无监督方法，从各种教学视频中学习结构化人类任务的原子动作。我们提出了一种用于视频时间分割的序列随机自回归模型，其学习表示并发现任务中不同原子动作之间的序列关系，并为视频提供自动且无监督的自标注。我们的方法以较大优势优于最先进（state-of-the-art）的无监督方法。我们将开源代码。
引用
@article{arxiv.2106.14733,
title = {Unsupervised Discovery of Actions in Instructional Videos},
author = {AJ Piergiovanni and Anelia Angelova and Michael S. Ryoo and Irfan Essa},
journal= {arXiv preprint arXiv:2106.14733},
year = {2021}
}
备注
Full paper