GazeMotion: 基于凝视的 human motion forecasting

我们提出了 GazeMotion，这是一种新颖的人类运动预测方法，融合了过去的人体姿态信息与人类眼睛的凝视方向。受行为科学证据的启发，人类的眼睛运动与身体运动紧密协调，GazeMotion 首先从过去的凝视预测未来眼睛的凝视方向，然后将预测的未来凝视与过去的姿态融合构建凝视-姿态图，最后使用残差图卷积网络进行身体运动预测。我们在 MoGaze、ADT 和 GIMO 三个基准数据集上进行了广泛评估，表明该方法在平均关节位置误差方面相比最先进的方法提升了最高可达 7.4%。使用头部方向作为凝视的代理，方法仍能实现平均提升 5.5%。我们最终报告了一项在线用户研究，显示该方法在感知逼真度方面也优于先前方法。这表明眼睛的凝视信息对人类运动预测具有重要信息内容，且该方法有效地利用了这一信息。