CSLRConformer:面向阿拉伯语手势语言连续识别的数据导向Conformer方法
计算机视觉与模式识别
2025-08-05 v1 人工智能
计算与语言
摘要
连续手势语言识别(CSLR)领域面临诸多技术挑战,包括流动的跨符号过渡、缺乏时间边界以及共演出效应。本文为 ICCV 2025 上的 MSLR 2025 工作坊挑战赛而开发,旨在解决 signer-independent 识别以提升 CSLR 系统在不同签名者之间的泛化能力。我们提出一种数据导向的方法论,核心在于系统化的特征工程、稳健的预处理管线以及优化的模型架构。主要贡献包括:基于探索性数据分析(EDA)指导的原则化特征选择流程,以提取有含义的关键点;集成 DBSCAN 基于聚类 outlier 过滤与空间归一化的严格预处理管线;以及 novel CSLRConformer 架构。该架构继承 Conformer 模型的 hybrid CNN-Transformer 设计,利用其建模局部时序依赖性与全局序列上下文的能力;这一特性恰好适用于手势语言的时空动力学。我们的方法在开发集上实现了 5.60% 的词错误率(WER),在测试集上实现了 12.01% 的 WER,最终在官方竞赛平台上获得第三名。该研究验证了跨域架构迁移的有效性,表明原为语音识别而设计的 Conformer 模型能够成功地被重新定位用于基于关键点的 CSLR,从而达成新的 SOTA 水平。
引用
@article{arxiv.2508.01791,
title = {CSLRConformer: A Data-Centric Conformer Approach for Continuous Arabic Sign Language Recognition on the Isharah Datase},
author = {Fatimah Mohamed Emad Elden},
journal= {arXiv preprint arXiv:2508.01791},
year = {2025}
}