基于迭代视觉注意力的自然场景手指拼写识别
计算机视觉与模式识别
2019-08-29 v1 计算与语言
摘要
手语识别是一个极具挑战性的手势序列识别问题，其特征是快速且高度协同发音的运动。在本文中，我们重点关注在自然场景中收集的美国手语 (ASL) 视频中的手指拼写序列识别，这些视频主要来源于 YouTube 和聋人社交媒体。以往关于手语识别的大多数工作都集中在受控环境中，数据是在工作室环境下录制的，且手语者的数量有限。我们的工作旨在解决真实数据的挑战，减少该领域常用的检测或分割模块的需求。我们提出了一种基于迭代注意力机制的端到端模型，无需显式的手部检测或分割。我们的方法动态聚焦于分辨率越来越高的感兴趣区域。它以大幅优势超越了先前的工作。我们还引入了一个新收集的自然场景手指拼写众包标注数据集，并表明使用该额外数据集可以进一步提升性能。
引用
@article{arxiv.1908.10546,
title = {Fingerspelling recognition in the wild with iterative visual attention},
author = {Bowen Shi and Aurora Martinez Del Rio and Jonathan Keane and Diane Brentari and Greg Shakhnarovich and Karen Livescu},
journal= {arXiv preprint arXiv:1908.10546},
year = {2019}
}
备注
ICCV 2019