从视频查找 ASL 手势的新能力
计算机视觉与模式识别
2024-07-19 v1 计算与语言
摘要
在 ASL 词典中查找未知手势可能比较困难。大多数 ASL 词典是基于英语 gloss 组织的，尽管存在两个问题：(1) 没有统一的规范为 ASL 手势分配英语-based gloss；(2) ASL 手势与英语单词之间不存在一一对应关系。此外，用户如果既不知道目标手势的含义，也不知道其可能的英语翻译(s)，该怎么办？一些 ASL 词典允许通过指定手势的 articulatory 属性（如手势、位置、运动属性等）来搜索。然而，这是一个繁琐的过程，且并不总是能成功查找。在这里我们描述了一个新的系统，该系统已公开分享在 Web 上，以便查找 ASL 手势的视频（例如，网页摄像头录制或来自连续签字视频的片段）。用户提交视频进行分析，并获得最可能的五个手势匹配结果，按可能性从高到低排序，以便用户确认选择，然后将被带到我们的 ASLLRP Sign Bank 中对应手势的条目。此外，这一视频查找功能也集成到了我们最新版本的 SignStream(R) 软件中，以促进 ASL 视频数据的语言注释，用户可以直接查找正在注释的视频中的手势，并在确认匹配后，直接将该手势的 gloss 和特征输入注释中，从而大大提高了 ASL 视频数据语言注释的效率和一致性。
关键词
引用
@article{arxiv.2407.13571,
title = {New Capability to Look Up an ASL Sign from a Video Example},
author = {Carol Neidle and Augustine Opoku and Carey Ballard and Yang Zhou and Xiaoxiao He and Gregory Dimitriadis and Dimitris Metaxas},
journal= {arXiv preprint arXiv:2407.13571},
year = {2024}
}
备注
11 pages, 10 figures