MHB：面向连续手势识别的多模态手型感知边界检测
计算机视觉与模式识别
2025-12-08 v2
摘要
本文采用多模态方法进行连续手势识别，首先利用机器学习检测美国手势语言（ASL）句子中手势的起始和结束帧，然后对分段后的手势进行识别。为提高鲁棒性，我们使用从手势视频中提取的3D骨骼特征，考虑手势属性及其动态在手势边界处聚集的趋势。本文的另一个重点是融入3D手型信息进行边界检测。为检测通常出现在手势开始和结束处的手型，我们创建一个由整合归一化多个现有数据集而创建的数据集，用于预训练手型分类器，以检测87种语言学定义的标准手型类别。随后使用多模态融合模块，将预训练的手势视频分割框架和手型分类模型统一。最后，利用估计的边界进行手势识别，其中识别模型在包含 citation-form 孤立手势以及基于手动注释的连续手势（这些手势在某些方面可能略有不同）的大型数据库上进行训练。我们在 ASLLRP 语料库上对方法进行评估，显著优于以往工作。
引用
@article{arxiv.2511.19907,
title = {MHB: Multimodal Handshape-aware Boundary Detection for Continuous Sign Language Recognition},
author = {Mingyu Zhao and Zhanfu Yang and Yang Zhou and Zhaoyang Xia and Can Jin and Xiaoxiao He and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2511.19907},
year = {2025}
}