通过骨架图像表示提升巴西手语识别效果
计算机视觉与模式识别
2024-05-01 v1
摘要
有效的沟通对于德听人士的社会融合至关重要。然而，由于对手语 (SL) 知识的局限，持久的沟通障碍阻碍了他们的完全参与。在此背景下，发展手语识别 (SLR) 系统以改善签字者与非签字者之间的沟通。其中，识别孤立手势 (Isolated Sign Language Recognition, ISLR) 的问题尤为重要，这与开发基于视觉的 SL 搜索引擎、学习工具和翻译系统密切相关。本工作提出了一种 ISLR 方法，通过提取身体、手部和面部 landmarks 在时间上的提取结果，并编码为 2-D 图像。这些图像由卷积神经网络处理，将视觉-时间信息映射到手势标签。实验结果表明，我们的方法在巴西手语 (LIBRAS) 的两个广泛认可的数据集上在 various 指标上超越了最新成果。除了更高的准确率，我们的方法更节省时间，因其依赖更简单的数据网络结构且仅使用 RGB 数据作为输入而更易训练。
引用
@article{arxiv.2404.19148,
title = {Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation},
author = {Carlos Eduardo G. R. Alves and Francisco de Assis Boldt and Thiago M. Paixão},
journal= {arXiv preprint arXiv:2404.19148},
year = {2024}
}
备注
12 pages