一体通用：一种端到端紧凑的手势识别解决方案
计算机视觉与模式识别
2021-05-18 v1
摘要
手势识别（HGR）是一项极具挑战性的任务，因为其性能受到光照变化、杂乱背景、自发采集等多方面因素的影响。传统的用于 HGR 的 CNN 网络遵循两阶段流水线以应对各种挑战：复杂手势、光照变化、复杂且杂乱的背景。现有方法在第一阶段需要专家专业知识以及辅助计算来消除输入图像的复杂性。因此，本文提出了一种新颖的端到端紧凑 CNN 框架：用于手势识别的细粒度特征注意力网络（Fit-Hand），以解决上述挑战。所提架构的流水线由两个主要单元组成：FineFeat 模块与空洞卷积（Conv）层。FineFeat 模块通过在多尺度感受野上采用注意力机制来提取细粒度特征图。引入注意力机制旨在通过放大多尺度响应的平均行为来捕获有效特征。此外，空洞卷积通过更大的感受野提供手势的全局特征。另外，还利用了融合层来结合 FineFeat 模块与空洞层的特征，通过捕获手势姿态的互补上下文信息来增强网络的判别力。Fit-Hand 的有效性通过在七个基准数据集：MUGD-I、MUGD-II、MUGD-III、MUGD-IV、MUGD-V、Finger Spelling 和 OUHANDS 上采用受试者相关（SD）与受试者无关（SI）验证设置进行了评估。此外，为深入研究所提 Fit-Hand 框架，我们进行了十项消融实验。
引用
@article{arxiv.2105.07143,
title = {One for All: An End-to-End Compact Solution for Hand Gesture Recognition},
author = {Monu Verma and Ayushi Gupta and santosh kumar Vipparthi},
journal= {arXiv preprint arXiv:2105.07143},
year = {2021}
}