从流式视频中探究三维动作预测

动作预测旨在利用部分观测识别动作，因广泛应用而日益流行。本文研究从流式视频中进行三维动作预测的问题，目标是理解解决该问题的最佳实践。我们首先引入若干互补的评估指标，并给出一个基于逐帧动作分类的基础模型。为获得更好性能，我们进而研究了两个重要因素，即训练片段长度与片段采样方法。我们还通过结合两方面的辅助信息探索多任务学习策略：完整动作表示与类别无关的动作标签。我们的综合实验揭示了三维动作预测的最佳实践，并据此提出一种带多任务损失的新型方法。所提方法大幅优于近期方法，并在标准基准上展现出最先进的性能。