操作动作预测

观察一个人的手通常就能知道这个人接下来要做什么、他/她的手将如何运动以及将处于何处，因为行为者的意图在动作执行过程中塑造了其运动学特征。类似地，具有实时约束的主动系统不能仅仅依赖被动的视频片段分类，而必须持续更新其估计并预测未来动作。在本文中，我们研究了灵巧动作的预测。我们记录了受试者在同一物体上执行不同操作动作的数据，例如用海绵“挤压”、“翻转”、“洗涤”、“擦拭”和“刮擦”。在心理物理实验中，我们评估了人类观察者从不同长度的视频序列中预测动作的技能，这些视频序列描绘了在与物体接触前后动作准备和执行过程中的手部运动。随后，我们开发了一种基于循环神经网络的方法用于动作预测，以手部周围的图像块作为输入。我们还使用相同的形式体系来预测指尖受力，并使用同步的视频和力数据流进行训练。在两个新数据集上的评估表明，我们的系统在识别任务中与人类表现高度匹配，并证明了我们的算法能够预测灵巧动作执行的内容与方式。