AirWare：利用嵌入式音频与红外信号进行空中手势识别
人机交互
2021-01-26 v1
摘要
我们介绍 AirWare，一种空中手势识别系统，它利用大多数电子设备中已嵌入的扬声器与麦克风，以及嵌入式红外接近传感器。AirWare 识别的手势在触摸屏或手机上方空中完成。AirWare 利用卷积神经网络，通过多模态音频多普勒签名与红外 (IR) 传感器信息对大量手势词汇进行分类。与使用高频多普勒雷达或深度相机来唯一识别空中手势的其他系统不同，AirWare 不需要任何外部传感器。在我们的分析中，我们使用公开可用的 API 与 Samsung Galaxy S5 的音频和接近传感器接口进行数据采集。我们发现，当尝试对 21 种手势组成的集合进行分类时，AirWare 作为可部署交互系统尚不够可靠，每种手势的平均真阳性率仅为 50.5%。为提升性能，我们将 AirWare 训练为基于可能使用场景识别 21 种手势词汇的子集。我们发现 AirWare 能够识别三组手势，每组平均真阳性率大于 80%，每组使用 4--7 种手势，共计 16 种独特的空中手势词汇。
引用
@article{arxiv.2101.10245,
title = {AirWare: Utilizing Embedded Audio and Infrared Signals for In-Air Hand-Gesture Recognition},
author = {Nibhrat Lohia and Raunak Mundada and Arya D. McCarthy and Eric C. Larson},
journal= {arXiv preprint arXiv:2101.10245},
year = {2021}
}