哎呀！预测视频中的非故意动作
计算机视觉与模式识别
2019-11-27 v1 机器学习
图像与视频处理
摘要
仅从对视频的一瞥，我们往往就能判断一个人的动作是否出于故意。我们能否训练一个模型来识别这一点？我们引入了一个真实场景下的非故意动作视频数据集，以及一套用于识别、定位并预测其发生的任务。我们训练了一个有监督神经网络作为基线，并分析了其相较于人类在这些任务上一致性的表现。我们还研究了利用数据集中自然信号的自我监督表征，并展示了一种使用视频内在速度的方法在与高度监督预训练竞争中表现相当的有效性。然而，机器与人类表现之间仍存在显著差距。项目网站位于 https://oops.cs.columbia.edu
引用
@article{arxiv.1911.11206,
title = {Oops! Predicting Unintentional Action in Video},
author = {Dave Epstein and Boyuan Chen and Carl Vondrick},
journal= {arXiv preprint arXiv:1911.11206},
year = {2019}
}
备注
11 pages, 9 figures