用于3D人体姿态估计的交织图与注意力网络
计算机视觉与模式识别
2023-04-28 v1 人工智能
机器学习
摘要
尽管从单视图图像进行3D人体姿态估计取得了实质性进展，但先前的工作很少探索全局与局部相关性，导致对人体骨架表示的学习不充分。为了解决这个问题，我们提出了一种新颖的交织图与注意力网络（IGANet），允许图卷积网络（GCN）与注意力之间进行双向通信。具体而言，我们引入了一个IGA模块，其中注意力从GCN获取局部信息，而GCN被注入来自注意力的全局信息。此外，我们设计了一个简单而有效的U型多层感知机（uMLP），能够为身体关节捕获多粒度信息。我们在两个流行的基准数据集（即Human3.6M和MPI-INF-3DHP）上进行了大量实验，以评估我们提出的方法。结果表明，IGANet在这两个数据集上均取得了SOTA性能。代码可在 https://github.com/xiu-cs/IGANet 获取。
引用
@article{arxiv.2304.14045,
title = {Interweaved Graph and Attention Network for 3D Human Pose Estimation},
author = {Ti Wang and Hong Liu and Runwei Ding and Wenhao Li and Yingxuan You and Xia Li},
journal= {arXiv preprint arXiv:2304.14045},
year = {2023}
}
备注
Accepted by ICASSP2023