通过空间-时间注意力构建动态图用于手势识别
计算机视觉与模式识别
2019-07-23 v1
摘要
我们提出一种基于动态图的空间-时间注意力（DG-STA）方法用于手势识别。其核心思想是首先从手部骨架构建全连接图，随后通过在空间和时间域中均执行的自我注意力机制自动学习节点特征与边。我们进一步提出利用关节位置的空间-时间线索，以在具有挑战性的条件下保证鲁棒识别。此外，一种新颖的空间-时间掩码被应用，将计算成本显著降低99%。我们在基准数据集（DHG-14/28 和 SHREC'17）上进行了大量实验，并证明了我们的方法相较于最先进方法的优越性能。源代码可在 https://github.com/yuxiaochen1103/DG-STA 获取。
引用
@article{arxiv.1907.08871,
title = {Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention},
author = {Yuxiao Chen and Long Zhao and Xi Peng and Jianbo Yuan and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:1907.08871},
year = {2019}
}