HopFIR：用于三维人体姿态估计的跳级图Transformer与组内联合优化方法
计算机视觉与模式识别
2023-10-31 v3
摘要
二维到三维的人体姿态提升是三维人体姿态估计（HPE）的基础，图卷积网络（GCNs）已被证明天生适用于建模人体骨骼拓扑。然而，当前基于 GCN 的三维 HPE 方法通过聚合邻居信息来更新节点特征，而未考虑不同关节协同作用中关节的交互。尽管一些研究提出导入肢体信息以学习运动模式，但关节间潜在的协同关系（如维持平衡）很少被探究。我们提出跳级图Transformer与组内联合优化（HopFIR）架构来解决三维 HPE 问题。HopFIR 主要由新颖的跳级图Transformer（HGF）模块和组内联合优化（IJR）模块组成。HGF 模块按 k-hop 邻居对关节分组，并对这些组应用类 hopwise transformer 的注意力机制以发现潜在关节协同。IJR 模块利用先验肢体信息对外围关节进行优化。大量实验结果表明，HopFIR 大幅优于 SOTA 方法，在 Human3.6M 数据集上平均逐关节位置误差（MPJPE）为 32.67 mm。我们还证明，最先进的基于 GCN 的方法可从所提跳级注意力机制中获益并实现性能显著提升：SemGCN 和 MGCN 分别提升了 8.9% 和 4.5%。
引用
@article{arxiv.2302.14581,
title = {HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D Human Pose Estimation},
author = {Kai Zhai and Qiang Nie and Bo Ouyang and Xiang Li and Shanlin Yang},
journal= {arXiv preprint arXiv:2302.14581},
year = {2023}
}
备注
Accepted by ICCV 2023