Pose Magic：基于混合 Mamba-GCN 网络的高效时序一致人体姿态估计
计算机视觉与模式识别
2025-02-27 v3
摘要
当前 3D 人体姿态估计（HPE）的前沿方法主要基于 Transformer。然而，现有的基于 Transformer 的 3D HPE 主干网络常常在准确率和计算效率之间存在权衡。为解决上述困境，本文利用最新进展中的状态空间模型技术，采用 Mamba 进行高质量且高效的长程建模。尽管如此，Mamba 仍面临在精确利用关节之间局部依赖方面存在挑战。为此，本文提出了一种新的无注意力混合时空架构，称为混合 Mamba-GCN（Pose Magic）。该架构通过捕获相邻关节之间的关系来引入局部增强，从而产生新的表征来补充 Mamba 的输出。通过自适应融合 Mamba 和 GCN 的表征，Pose Magic 在学习 underlying 3D 结构方面表现出卓越的能力。为满足实时推理需求，我们还提供了完全因果版本。大量实验表明，Pose Magic 在节省 74.1% FLOPs 的同时实现了新的前沿结果（↓0.9 mm），并展现出最佳的运动一致性和对未见序列长度的泛化能力。
引用
@article{arxiv.2408.02922,
title = {Pose Magic: Efficient and Temporally Consistent Human Pose Estimation with a Hybrid Mamba-GCN Network},
author = {Xinyi Zhang and Qiqi Bao and Qinpeng Cui and Wenming Yang and Qingmin Liao},
journal= {arXiv preprint arXiv:2408.02922},
year = {2025}
}
备注
This work has been accepted by AAAI 2025