改进手型表征以用于手语处理：图神经网络方法
计算机视觉与模式识别
2025-09-24 v1 机器学习
摘要
手型在手语中具有基本的音位作用，美国手语使用约50种不同的手型。然而，计算方法很少显式建模手型，这限制了识别准确性和语言分析。我们提出了一种新型图神经网络，将时间动态与静态手型配置分离。我们的方法结合了解剖学信息的图结构和对比学习，以解决手型识别中的关键挑战，包括细微的类间差异和时间变化。我们建立了首个结构化手型识别基准，在37种手型类别中实现了46%的准确率（基线方法为25%）。
引用
@article{arxiv.2509.18309,
title = {Improving Handshape Representations for Sign Language Processing: A Graph Neural Network Approach},
author = {Alessa Carbo and Eric Nalisnick},
journal= {arXiv preprint arXiv:2509.18309},
year = {2025}
}