基于射频传感器的混合活动/手语序列中 ASL 触发词识别
信号处理
2021-11-19 v3
摘要
过去十年中，用于交互设备、个人助理和计算机接口控制的语音识别取得了巨大进步。然而，以手语为主要交流方式的聋人和重听（HoH）人士无法使用语音控制接口。尽管基于视频的手语识别已有大量工作，但视频在黑暗中无效，且在人类环境智能背景下使用视频已在聋人社区引发隐私担忧。射频传感器最近被提出作为一种新模态，可在视频失效的情况下发挥作用。本文考虑在日常生活背景下识别触发手势（唤醒词）的问题，其中大幅肢体活动与手语序列交织在一起。所提方法利用多种射频数据域表示（时频、距离-多普勒和距离-角度）对混合运动数据流进行序列分类。比较了具有不同运动学特性的手势的识别精度，并据此对基于射频传感器用户接口的合适触发手势选择提出建议。所提方法对 15 个 ASL 词汇和 3 个大幅肢体活动实现了 98.9% 的触发手势检测率和 92% 的分类准确率。
引用
@article{arxiv.2111.05480,
title = {ASL Trigger Recognition in Mixed Activity/Signing Sequences for RF Sensor-Based User Interfaces},
author = {Emre Kurtoglu and Ali C. Gurbuz and Evie A. Malaia and Darrin Griffin and Chris Crawford and Sevgi Z. Gurbuz},
journal= {arXiv preprint arXiv:2111.05480},
year = {2021}
}
备注
13 pages, 10 figures