手语与检索：面向手语词典的手势检索功能
计算机视觉与模式识别
2021-07-30 v1 信息检索
多媒体
摘要
手语词典是研究人员和学习手语者的有用资源。目前的实现允许用户通过其注释词（gloss）或选择其主要特征（如手形和位置）来检索手语。本研究致力于探索一种反向检索功能，用户可在网络摄像头前打出一个查询手语并检索一组匹配手语。通过使用姿态估计框架 OpenPose 提取不同的身体关节组合（上半身、惯用手手臂和手腕），我们比较了四种技术（PCA、UMAP、DTW 和欧氏距离）作为 20 个查询手语之间的距离度量，每个查询手语由八名参与者在 1200 个手语的词典上执行。结果表明，使用惯用手手臂的运动，在检索前 20 个手语中，UMAP 和 DTW 分别以 80% 和 71% 的准确率预测匹配手语。使用 DTW 并在词典中加入更多其他参与者的手语实例，准确率可在前 10 排名中提升至 90%。我们的结果表明，无论词典规模大小，我们的方法都可在无需训练的情况下用于任何手语词典。
引用
@article{arxiv.2107.13637,
title = {Sign and Search: Sign Search Functionality for Sign Language Lexica},
author = {Manolis Fragkiadakis and Peter van der Putten},
journal= {arXiv preprint arXiv:2107.13637},
year = {2021}
}
备注
Accepted for the 1st International Workshop on Automatic Translation for Signed and Spoken Languages (ATS4SSL), August 20, 2021