学习骨架图神经网络用于困难 3D 姿态估计
计算机视觉与模式识别
2021-08-18 v2
摘要
已有多种深度学习技术被提出以解决单视图 2D 到 3D 姿态估计问题。尽管多年来平均预测精度已显著提升，但在具有深度模糊、自遮挡以及复杂或罕见姿态的困难姿态上的性能仍远不能令人满意。在本工作中，我们针对这些困难姿态并提出一种新颖的骨架 GNN 学习方案。具体而言，我们提出一种跳感知的分层通道压缩融合层，以在 GNN 学习中有效提取来自邻节点的相关信息同时抑制不期望的噪声。此外，我们提出一种时序感知的动态图构建过程，其对 3D 姿态估计鲁棒且有效。在 Human3.6M 数据集上的实验结果表明，我们的方案实现了 10.3% 的平均预测精度提升，并在困难姿态上大幅优于最先进的技术。我们进一步将所提技术应用于基于骨架的动作识别任务，同样取得了最先进的性能。我们的代码可在 https://github.com/ailingzengzzz/Skeletal-GNN 获取。
引用
@article{arxiv.2108.07181,
title = {Learning Skeletal Graph Neural Networks for Hard 3D Pose Estimation},
author = {Ailing Zeng and Xiao Sun and Lei Yang and Nanxuan Zhao and Minhao Liu and Qiang Xu},
journal= {arXiv preprint arXiv:2108.07181},
year = {2021}
}
备注
ICCV 2021