从失败中学习目标
计算机视觉与模式识别
2020-12-17 v2
摘要
我们提出了一种框架，用于预测视频中可观测人类行为背后的目标。受发展心理学证据的启发，我们利用非故意动作的视频，在无直接监督的情况下学习视频中的目标表示。我们的方法将视频建模为上下文轨迹，同时表示低级运动和高级动作特征。实验与可视化表明，我们训练好的模型能够预测非故意动作视频中的潜在目标。我们还提出了一种通过利用模型的梯度信号来调整潜在轨迹，从而“自动纠正”非故意动作的方法。尽管该模型在极少量监督下训练，但其性能与在大规模（有监督）成功执行目标数据集上训练的基线相当或更优，这表明观察非故意动作对于学习视频中的目标至关重要。项目页面：https://aha.cs.columbia.edu/
引用
@article{arxiv.2006.15657,
title = {Learning Goals from Failure},
author = {Dave Epstein and Carl Vondrick},
journal= {arXiv preprint arXiv:2006.15657},
year = {2020}
}