中文

HGR-Net:一种用于手势分割与识别的融合网络

计算机视觉与模式识别 2020-01-01 v3

摘要

我们提出了一种用于鲁棒手势识别的两阶段卷积神经网络(CNN)架构,称为 HGR-Net,其中第一阶段执行精确的语义分割以确定手部区域,第二阶段识别手势。分割阶段架构基于全卷积残差网络与空洞空间金字塔池化的组合。尽管分割子网络在没有深度信息的情况下训练,但它对光照变化和复杂背景等挑战特别鲁棒。识别阶段部署了一个双流 CNN,通过在分类前于全连接层中结合其深度表示,融合来自红绿蓝图像和分割图像的信息。在公开数据集上的大量实验表明,我们的架构在静态手势的分割和识别上取得了几乎与最先进(SOTA)性能相当的结果,而训练时间、运行时间和模型大小仅为后者的一小部分。我们的方法平均每帧可在 23 毫秒内运行。

关键词

引用

@article{arxiv.1806.05653,
  title  = {HGR-Net: A Fusion Network for Hand Gesture Segmentation and Recognition},
  author = {Amirhossein Dadashzadeh and Alireza Tavakoli Targhi and Maryam Tahmasbi and Majid Mirmehdi},
  journal= {arXiv preprint arXiv:1806.05653},
  year   = {2020}
}