面向非手动特征感知手语识别的全局-局部增强网络
计算机视觉与模式识别
2021-08-17 v2
摘要
手语识别(SLR)是一个具有挑战性的问题,涉及复杂的手动特征(即手势)和细粒度的非手动特征(NMFs)(即面部表情、嘴形等)。尽管手动特征占主导地位,但非手动特征在手语词的表达中也起着重要作用。具体而言,许多手语词即使具有相同的手势,也会因非手动特征而传达不同的含义。这种歧义给手语词的识别带来了巨大挑战。为解决上述问题,我们提出了一种简洁而有效的架构,称为全局-局部增强网络(GLE-Net),其包含两条相互促进的流,分别面向SLR的不同关键方面。其中一条流捕捉全局上下文关系,另一条流捕捉判别性的细粒度线索。此外,由于缺乏明确聚焦于此类特征的数据集,我们引入了首个非手动特征感知的孤立中国手语数据集(NMFs-CSL),包含日常生活中总计1067个手语词的词汇量。在NMFs-CSL和SLR500数据集上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2008.10428,
title = {Global-local Enhancement Network for NMFs-aware Sign Language Recognition},
author = {Hezhen Hu and Wengang Zhou and Junfu Pu and Houqiang Li},
journal= {arXiv preprint arXiv:2008.10428},
year = {2021}
}
备注
ACM Transactions on Multimedia Computing, Communications, and Applications