手语识别的视觉方法：基于模态的综述

从连续多模态流中进行手语视觉识别仍是最具挑战性的领域之一。人体动作识别的最新进展正利用基于 GPU 的大规模数据学习之兴起，并接近类人性能。因此它们易于为聋人和听障群体创建交互式服务。该群体预计未来数年将显著增长。本文旨在以手语视觉理解为范围综述人体动作识别文献。所分析方法主要依据所利用的不同类型单模态输入、其相对多模态组合及流水线步骤来组织。在每一节中，我们将详述并比较相关数据集、方法，进而区分适于创建手语相关服务的尚待开拓的贡献路径。我们将特别关注处理面部表情与连续打手语的方法和商业解决方案。