用于基于骨架的人体运动预测的图引导 MLP-Mixer
计算机视觉与模式识别
2023-08-08 v2
摘要
近年来，图卷积网络（GCNs）已被广泛用于人体运动预测，但其性能仍不尽如人意。最近，最初为视觉任务开发的 MLP-Mixer 作为一种有前景的 GCNs 替代方案被引入人体运动预测，取得了比 GCNs 更好的性能和效率。与 GCNs 可以通过用带边和节点的图表示人体骨架的骨-关节结构来显式捕获该结构不同，MLP-Mixer 依赖于全连接层，因此无法显式建模人体的此类图状结构。为打破 MLP-Mixer 的这一局限，我们提出 Graph-Guided Mixer（图引导混合器），一种使原始 MLP-Mixer 架构具备图结构建模能力的新方法。通过引入图引导，我们的 Graph-Guided Mixer 能够有效捕获并利用人体骨架图表示中的特定连接模式。在本文中，我们首先揭示了现有研究中未探索的 MLP-Mixer 与 GCN 之间的理论联系。基于该理论联系，接下来我们提出所推荐的 Graph-Guided Mixer，解释原始 MLP-Mixer 架构如何被重新设计以融入图结构引导。然后我们在 Human3.6M、AMASS 和 3DPW 数据集上进行了广泛评估，结果表明我们的方法达到了最先进的性能。
引用
@article{arxiv.2304.03532,
title = {Graph-Guided MLP-Mixer for Skeleton-Based Human Motion Prediction},
author = {Xinshun Wang and Qiongjie Cui and Chen Chen and Shen Zhao and Mengyuan Liu},
journal= {arXiv preprint arXiv:2304.03532},
year = {2023}
}