泰语手指拼写识别:探究 MediaPipe Hands 的潜力
计算机视觉与模式识别
2022-01-11 v1 人机交互
摘要
泰语手指拼写(TFS)手势识别可使听障人群社群受益于与主流听人群体的沟通桥梁。由于字母数量相对较多,TFS 采用多种手势方案。两种更常见的手势方案——静态与动态单手手势(其他手语中广泛使用)——已在先前若干工作中得到处理。为完善 TFS 手势识别,其余两种差异显著的手势方案——静态与动态点触手背手势——需得到充分处理。鉴于许多现成的手部骨架预测模型问世,且从零训练识别手语的模型代价高昂,我们探索了一种基于近期发布的 MediaPipe Hands(MPH)的方法。MPH 是一个用于手部关键点检测的高精度预训练模型。我们研究了 MPH 在三种 TFS 方案上的表现:静态单手(S1)、简化动态单手(S2)和静态点触手背(P1)方案。结果表明,MPH 可较好地处理单手方案,在 S1 和 S2 上准确率均为 84.57%。然而,我们发现 MPH 在处理点触手背方案上存在缺陷,其在 P1 上准确率为 23.66%,而从零训练的传统分类方法可达 69.19%。该缺陷经探究归因于自遮挡与左右手性。
引用
@article{arxiv.2201.03170,
title = {TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials},
author = {Jinnavat Sanalohit and Tatpong Katanyukul},
journal= {arXiv preprint arXiv:2201.03170},
year = {2022}
}
备注
19 pages, 10 figures