用于人体运动预测的时空门控邻接图卷积网络
计算机视觉与模式识别
2022-07-12 v3
摘要
基于历史运动序列预测未来运动是计算机视觉中的基本问题,在自动驾驶和机器人领域有广泛应用。近期一些工作表明图卷积网络(GCN)有助于建模不同关节间的关系。然而,考虑到人体运动数据中动作的变体与多样性,由于解耦建模策略,时空关系的交叉依赖性将难以刻画,这也可能加剧泛化不足的问题。因此,我们提出时空门控邻接 GCN(GAGCN)来学习不同动作类型下复杂的时空依赖。具体而言,我们采用门控网络,通过混合候选时空邻接矩阵得到可训练的自适应邻接矩阵,从而增强 GCN 的泛化能力。此外,GAGCN 通过平衡时空建模权重并融合解耦的时空特征,解决了空间与时间的交叉依赖。在 Human 3.6M、AMASS 和 3DPW 上的大量实验表明,GAGCN 在短期和长期预测中均达到了 SOTA 性能。
引用
@article{arxiv.2203.01474,
title = {Spatio-Temporal Gating-Adjacency GCN for Human Motion Prediction},
author = {Chongyang Zhong and Lei Hu and Zihao Zhang and Yongjing Ye and Shihong Xia},
journal= {arXiv preprint arXiv:2203.01474},
year = {2022}
}
备注
We declare that the evaluation metric we used is following STSGCN, that is, the average error over frames (denoted by *), which we only found when we checked their test code on July 9, 2022