中文

俄语手势字母 Bukva:俄语手势语言字母表

计算机视觉与模式识别 2024-10-14 v1

摘要

本文探讨了俄语手势字母的识别,也称为俄语手势语言(RSL)dactyl。dactyl 是手势语言的一个组成部分,其中不同的手部动作代表书面语言中单个字母。用于拼写没有特定手势的单词(如专有名词或技术术语)的这种方法非常常见。字母学习模拟器是处理隔离 dactyl 识别的关键应用。已有俄语 dactyl 数据集存在显著数据不足问题:现有数据集缺乏被试的异质性、样本不足,或仅覆盖静态手势。我们提供 Bukva,这是首个完整的开源俄语 RSL dactyl 视频数据集。数据集包含 3,757 条视频,包含超过 101 个针对每个 RSL 字母手势的样本,包括动态手势。我们利用众包平台增加了被试的异质性,最终有 155 名听力丧失或听力受损者参与数据集的创建。我们使用 TSM(时间偏移模块)块有效处理静态和动态手势,实现了仅用 CPU 即可进行实时推理的 83.6% 的 Top-1 准确率。数据集、演示代码和预训练模型均公开可用。

关键词

引用

@article{arxiv.2410.08675,
  title  = {Bukva: Russian Sign Language Alphabet},
  author = {Karina Kvanchiani and Petr Surovtsev and Alexander Nagaev and Elizaveta Petrova and Alexander Kapitanov},
  journal= {arXiv preprint arXiv:2410.08675},
  year   = {2024}
}

备注

Preptrint. Title: "Bukva: Russian Sign Language Alphabet". 9 pages