将手势表示为手势：一种实现功能手语技术的单样本ISLR方法
计算与语言
2025-02-28 v1 计算机视觉与模式识别
摘要
孤立手语识别（ISLR）是可扩展手语技术的关键，但语言特定的方法限制了当前模型。为此，我们提出一种可跨语言和不断演化词汇表的单样本学习方法。我们的方法涉及对手势进行预训练，以基于基本特征嵌入，并使用密集向量搜索进行快速、准确的未知手势识别。我们实现了包括50.8%单样本MRR在内的状态最佳结果，该结果基于包含10,235个独特手语的大型词典，这些手语来自与训练集不同的语言。该方法在语言和支持集之间具有鲁棒性，为ISLR提供了可扩展、可适应的解决方案。该方法由听障和半聋人群共同创作，符合实际需求，并推动了可扩展的手语识别技术。
引用
@article{arxiv.2502.20171,
title = {Representing Signs as Signs: One-Shot ISLR to Facilitate Functional Sign Language Technologies},
author = {Toon Vandendriessche and Mathieu De Coster and Annelies Lejon and Joni Dambre},
journal= {arXiv preprint arXiv:2502.20171},
year = {2025}
}