用于姿态预测的时空可分离图卷积网络
计算机视觉与模式识别
2021-10-12 v1
摘要
人体姿态预测是一项复杂的结构化数据序列建模任务,由于众多潜在应用,已受到越来越多的关注。研究主要将时间维度作为时间序列处理,并将人体关节的交互用运动学树或图来建模。这解耦了两个方面并利用了相关领域的进展,但也限制了对人体姿态复杂结构性关节时空动力学的理解。本文提出一种新颖的时空可分离图卷积网络(STS-GCN)用于姿态预测。STS-GCN 首次仅用图卷积网络(GCN)建模人体姿态动力学,在单一图框架内包含时间演化与空间关节交互,从而允许运动与空间相关性的交叉对话。同时,STS-GCN 是首个时空可分离 GCN:时空图连通性被分解为空间与时间亲和矩阵,这瓶颈化了时空交叉对话,同时实现了完整的关节-关节与时间-时间相关性。两个亲和矩阵均端到端学习,导致连接显著偏离标准运动学树与线性时间时间序列。在三个近期复杂大规模基准 Human3.6M [Ionescu et al. TPAMI'14]、AMASS [Mahmood et al. ICCV'19] 和 3DPW [Von Marcard et al. ECCV'18] 上的实验评估中,STS-GCN 优于当前最优方法,在最困难的长时预测上平均超越当前最佳技术 [Mao et al. ECCV'20] 超过 32%,而仅需其 1.7% 的参数。我们从定性上解释结果,并通过分解得到的关节-关节与时间-时间学习图连接来展示图交互。我们的源代码位于:https://github.com/FraLuca/STSGCN
引用
@article{arxiv.2110.04573,
title = {Space-Time-Separable Graph Convolutional Network for Pose Forecasting},
author = {Theodoros Sofianos and Alessio Sampieri and Luca Franco and Fabio Galasso},
journal= {arXiv preprint arXiv:2110.04573},
year = {2021}
}