BdSLW401：基于相对量化编码（RQE）的 Transformer 词级孟加拉语手语识别
计算机视觉与模式识别
2025-03-05 v1 人工智能
人机交互
机器学习
摘要
孟加拉语等低资源语言的手语识别（SLR）面临着打手差异性、视角变化和标注数据集有限的挑战。在本文中，我们提出了 BdSLW401，一个大规模、多视角、词级的孟加拉语手语（BdSL）数据集，包含 401 个手语词汇以及来自 18 位打手在正面和侧面视角下的 102,176 个视频样本。为了改进基于 Transformer 的 SLR，我们引入了相对量化编码（RQE），这是一种结构化嵌入方法，将关键点锚定于生理参考点并对运动轨迹进行量化。RQE 通过降低空间变异性来改善注意力分配，在 WLASL100 上实现了 44.3% 的 WER 降低，在 SignBD-200 上降低了 21.0%，并在 BdSLW60 和 SignBD-90 上取得了显著提升。然而，固定量化在大规模数据集（如 WLASL2000）上表现不足，表明需要自适应编码策略。此外，RQE-SF 作为一个稳定肩部关键点的扩展变体，以侧面视角识别的微小折衷换取了姿态一致性的提升。注意力图证明，RQE 通过聚焦于主要发音特征（手指、手腕）以及更具区分性的帧而非全局姿态变化，提升了模型的可解释性。本文通过引入 BdSLW401 并展示 RQE 增强的结构化嵌入的有效性，推进了面向低资源语言的基于 Transformer 的 SLR，并为该领域的未来研究设定了基准。
引用
@article{arxiv.2503.02360,
title = {BdSLW401: Transformer-Based Word-Level Bangla Sign Language Recognition Using Relative Quantization Encoding (RQE)},
author = {Husne Ara Rubaiyeat and Njayou Youssouf and Md Kamrul Hasan and Hasan Mahmud},
journal= {arXiv preprint arXiv:2503.02360},
year = {2025}
}