基于射频感知的美国手语识别
信号处理
2020-09-03 v1 人机交互
摘要
许多为人听觉正常者设计的人机交互技术依赖于发声语音，使得聋人社区中使用美国手语（ASL）的用户无法从这些进展中受益。尽管利用视频或可穿戴手套的ASL识别已取得巨大进步，但家庭中视频的使用引发了隐私担忧，而可穿戴手套严重限制活动并侵扰日常生活。方法：本文提出将RF传感器用于服务聋人社区的人机交互应用。一个多频RF传感器网络被用于获取ASL手势的非侵入、非接触测量，且与光照条件无关。RF数据中由微多普勒效应所致的独特运动模式，通过短时傅里叶变换的时频分析得以揭示。利用机器学习（ML）研究了RF ASL数据的语言学属性。结果：以分形复杂度衡量的信息内容显示，ASL手势大于日常生活中遇到的其他上半身活动。这可用于将日常活动与手势区分开，而来自RF数据的特征表明，非手语使用者的模仿手势与母语者ASL手势有99%的可区分性。RF传感器网络数据的特征级融合被用于实现20个母语者ASL手势分类72.5%的准确率。意义：RF感知可用于研究ASL的动态语言学属性，并设计以聋人为中心的智能环境，以实现对非侵入、远程ASL识别。ML算法应在母语而非模仿的ASL数据上基准测试。
引用
@article{arxiv.2009.01224,
title = {American Sign Language Recognition Using RF Sensing},
author = {Sevgi Z. Gurbuz and Ali C. Gurbuz and Evie A. Malaia and Darrin J. Griffin and Chris Crawford and M. Mahbubur Rahman and Emre Kurtoglu and Ridvan Aksu and Trevor Macks and Robiulhossain Mdrafi},
journal= {arXiv preprint arXiv:2009.01224},
year = {2020}
}
备注
submitted