SIA-GCN：一种具有二维卷积、感知空间信息的图神经网络用于手部姿态估计
计算机视觉与模式识别
2020-09-29 v1
摘要
图神经网络（GNN）将神经网络从规则结构上的应用推广到任意图上的应用，并已在计算机视觉、社交网络与化学等许多领域取得成功。在本文中，我们沿两个方向扩展 GNN：a）允许每个节点的特征由二维空间置信度图而非一维向量表示；b）提出一种高效操作，通过每条边上具有不同可学习核的二维卷积来整合来自邻节点的信息。所提出的 SIA-GCN 能高效提取每个节点二维图中的空间信息，并通过图卷积传播它们。通过将每条边与指定卷积核相关联，SIA-GCN 可为不同邻节点对捕捉不同的空间关系。我们在从单帧图像估计手部关键点的任务上展示了 SIA-GCN 的效用，其中节点表示关键点的二维坐标热力图，边表示关键点之间的运动学关系。在多个数据集上的实验表明，SIA-GCN 提供了一个灵活而强大的框架来刻画关键点间的结构约束，并能在手部姿态估计任务上取得最先进的性能。
引用
@article{arxiv.2009.12473,
title = {SIA-GCN: A Spatial Information Aware Graph Neural Network with 2D Convolutions for Hand Pose Estimation},
author = {Deying Kong and Haoyu Ma and Xiaohui Xie},
journal= {arXiv preprint arXiv:2009.12473},
year = {2020}
}
备注
31st British Machine Vision Conference (BMVC), oral presentation