用于三维人体姿态估计的时空 MLP-图网络
计算机视觉与模式识别
2023-08-30 v1
摘要
图卷积网络及其变体在三维人体姿态估计中已展现出显著潜力。尽管取得了成功，这类方法大多仅考虑身体关节之间的空间相关性，而未考虑时间相关性，从而限制了其在存在遮挡和固有歧义时捕捉关系的能力。为应对这一潜在弱点，我们提出了一种时空网络架构，其由促进不同关节间通信的关节混合多层感知机块，以及实现各特征通道间通信的图加权 Jacobi 网络块组成。我们方法的主要新颖之处在于通过隐式平滑的图滤波获得的一种新的加权 Jacobi 特征传播规则。我们利用来自二维姿态序列的时间信息，并将权重调制整合进模型以解耦不同节点的特征变换。我们还采用邻接调制，旨在通过可学习的调制矩阵改变图拓扑，从而学习超出身体关节间已定义连接的 meaningful 相关性。在两个基准数据集上的大量实验证明了我们模型的有效性，其性能优于近期最先进的三维人体姿态估计方法。
引用
@article{arxiv.2308.15313,
title = {Spatio-temporal MLP-graph network for 3D human pose estimation},
author = {Tanvir Hassan and A. Ben Hamza},
journal= {arXiv preprint arXiv:2308.15313},
year = {2023}
}