基于跨设备感知的伴随语音手至脸部手势识别
人机交互
2023-03-21 v1
摘要
伴随语音执行的手势对于语音交互至关重要，可传达互补语义以实现唤醒状态和输入模态等交互目的。在本文中，我们研究了用于语音交互的伴随语音手至脸部(VAHF)手势。我们将手至脸部手势作为目标，因为此类手势与语音密切相关并产生显著的声学特征（例如，阻碍声音传播）。我们开展了一项用户研究以探索VAHF手势的设计空间，首先收集候选手势，然后在不同维度（例如，接触位置和类型）上对其进行结构分析，最终输出了8种具有良好可用性和最少混淆的VAHF手势。为促进VAHF手势识别，我们提出了一种新颖的跨设备感知方法，利用来自商用设备（耳塞、手表和戒指）的异构通道（声音、超声波和IMU）数据。我们的识别模型在识别3种手势时达到了97.3%的准确率，在识别8种手势（不包括“空”手势）时达到了91.5%的准确率，证明了其高度适用性。定量分析还揭示了每个传感器通道及其不同组合的识别能力。最后，我们展示了可行的用例及其设计原则，以证明我们的系统在各种场景中的适用性。
引用
@article{arxiv.2303.10441,
title = {Enabling Voice-Accompanying Hand-to-Face Gesture Recognition with Cross-Device Sensing},
author = {Zisu Li and Cheng Liang and Yuntao Wang and Yue Qin and Chun Yu and Yukang Yan and Mingming Fan and Yuanchun Shi},
journal= {arXiv preprint arXiv:2303.10441},
year = {2023}
}
备注
This paper has been accepted by ACM CHI 2023