SignBart——基于骨架序列的孤立手语识别新方法
计算与语言
2025-06-30 v1 计算机视觉与模式识别
摘要
手语识别对于听障人士打破沟通障碍至关重要。然而，以往的方法不得不在效率和准确性之间做出选择。例如，RNN、LSTM和GCN存在梯度消失和计算成本高的问题。尽管性能有所提升，但基于Transformer的方法并未被普遍采用。本研究提出了一种新颖的手语识别方法，克服了从骨架序列的x和y坐标中独立提取有意义信息的挑战，而传统模型通常将这些坐标视为不可分割的整体。通过利用BART架构的编码器-解码器，该模型独立编码x和y坐标，同时交叉注意力确保它们之间的相互关系得以保持。该模型仅用749,888个参数，就在LSA-64数据集上达到了96.04%的准确率，显著优于参数超过一百万的先前模型。该模型在WLASL和ASL-Citizen数据集上也展现出优异的性能和泛化能力。消融研究强调了坐标投影、归一化以及使用多个骨架组件对于提升模型效能的重要性。本研究为手语识别提供了一种可靠且有效的方法，在增强聋人和听障人士的无障碍工具方面具有巨大潜力。
引用
@article{arxiv.2506.21592,
title = {SignBart -- New approach with the skeleton sequence for Isolated Sign language Recognition},
author = {Tinh Nguyen and Minh Khue Phan Tran},
journal= {arXiv preprint arXiv:2506.21592},
year = {2025}
}