用于参与者行为推断与预测的Entry-Flipped Transformer

一些群体活动,如团队运动和编排舞蹈,涉及参与者之间紧密耦合的交互。在此我们研究在此类条件下就运动路径和动作推断与预测参与者行为的任务。我们将问题缩小为估计一组目标参与者如何对其他被观测参与者的行为作出反应。我们的核心思想是以一种对逐帧推断与预测中的误差累积具有鲁棒性的方式建模参与者间的时空关系。我们提出了一种新颖的Entry-Flipped Transformer(EF-Transformer),其通过在空间和时间域上的注意力机制建模参与者关系。与典型transformer不同,我们通过翻转query、key和value条目的顺序来解决误差累积问题,以提高当前帧中观测特征的重要性和保真度。对比实验表明,我们的EF-Transformer在新收集的网球双打数据集、Ceilidh舞蹈数据集和两个行人数据集上取得了最佳性能。此外,还证明了我们的EF-Transformer更擅长限制累积误差并从错误估计中恢复。