用于3D人体姿态估计的金字塔结构长程依赖学习
计算机视觉与模式识别
2025-06-04 v1
摘要
人体结构中的动作协调对于2D关节恢复3D姿态至关重要。通常将动作协调表示为身体部件之间的长程依赖。然而，建模长程依赖存在两个主要挑战: 首先，关节不仅应由其他单个关节约束，还应由身体部件调制; 其次，现有方法通过加深网络来学习非链接部件之间的依赖，引入不相关的噪声并增加模型大小。本文利用金字塔结构更好地学习潜在的长程依赖。它可以捕获跨关节和组的相关性，补充人体子结构的上下文。在有效的跨尺度方式中，它捕获金字塔结构的长程依赖。具体而言，我们提出了一种新颖的金字塔图注意力(PGA)模块，用于捕获跨尺度的长程依赖。它将来自 various scales 的信息拼接成紧凑的序列，然后并行计算尺度之间的相关性。将PGA与图卷积模块结合，我们开发了一种金字塔图转换器(PGFormer)用于3D人体姿态估计，这是一种轻量级多尺度转换器架构。它通过池化将人体子结构封装到自注意力中。广泛的实验表明，我们的方法在Human3.6M和MPI-INF-3DHP 数据集上实现更低的误差和更小的模型大小，优于最先进的方法。代码可在https://github.com/MingjieWe/PGFormer 获取。
引用
@article{arxiv.2506.02853,
title = {Learning Pyramid-structured Long-range Dependencies for 3D Human Pose Estimation},
author = {Mingjie Wei and Xuemei Xie and Yutong Zhong and Guangming Shi},
journal= {arXiv preprint arXiv:2506.02853},
year = {2025}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM)