面向大显示屏的自然手势/语音控制
计算机视觉与模式识别
2007-05-23 v1 人机交互
摘要
近年来，随着计算机视觉研究的进步，自由手势被探索作为人机交互(HCI)的一种方式。结合改进的语音处理技术，这是向自然多模态HCI迈出的重要一步。然而，将非预定义的连续手势纳入多模态框架是一个具有挑战性的问题。本文提出了一种结构化方法，用于研究2D显示控制背景下多模态语言模式的分析。我们考虑从可观察的运动学原语到其语义的系统性分析，这些语义与语言结构相关。提出的协语义手势分类将其划分为基于时空指示性六个类别。我们讨论了用于手势和语音集成的计算框架的演变，这些框架用于开发交互测试平台(iMAP)。该测试平台使我们能够在叙事模式的HCI中引导适当的、非顺序的多模态模式。进行的用户研究说明在语义映射中考虑语音和手势部分的时间对齐的重要性。此外，手势/语音生产的共现分析表明手势在词汇层面具有语法组织性。
引用
@article{arxiv.cs/0105026,
title = {Toward Natural Gesture/Speech Control of a Large Display},
author = {S. Kettebekov and R. Sharma},
journal= {arXiv preprint arXiv:cs/0105026},
year = {2007}
}
备注
Engineering for Human-Computer Interaction (EHCI'01),Toronto, Canada. May 11-14, 2001. Lecture Notes in Computer Science, Springer Verlag. 14 pages