用于连续手势序列中孤立手势分离的非解剖图结构
计算机视觉与模式识别
2022-07-18 v1
摘要
连续手势识别(CHGR)在过去几十年中已被研究者广泛研究。最近,有模型被提出以应对连续手势视频中孤立手势边界检测的挑战[17]。为提升模型性能并替换[17]中所提模型中手工设计的特征提取器,我们提出一种 GCN 模型,并将其与堆叠的 Bi-LSTM 和 Attention 模块结合以推进视频流中的时间信息。考虑到 GCN 模型在骨架模态上的突破,我们提出一种两层 GCN 模型以增强 3D 手部骨架特征。最后,每个孤立手势的类别概率被送入后处理模块,该模块借用自[17]。此外,我们用一些非解剖图结构替换了解剖图结构。由于缺乏同时包含连续手势序列及对应孤立手势的大规模数据集,我们采用 Dynamic Hand Gesture Recognition (DHGR)、RKS-PERSIANSIGN 和 ASLVID 三个公开数据集进行评估。实验结果表明所提模型在处理连续手势序列中孤立手势边界检测方面具有优越性。
引用
@article{arxiv.2207.07619,
title = {A Non-Anatomical Graph Structure for isolated hand gesture separation in continuous gesture sequences},
author = {Razieh Rastgoo and Kourosh Kiani and Sergio Escalera},
journal= {arXiv preprint arXiv:2207.07619},
year = {2022}
}