虚拟现实中的基于视觉的参与度检测
计算机视觉与模式识别
2016-09-07 v1
摘要
在基于视觉的界面中，针对操作动作的用户参与度建模是用户心理状态检测最重要的案例研究之一。在采用相机传感器识别人类活动的虚拟现实环境中，我们必须知道用户何时意图执行动作以及何时无意执行。如果没有识别参与状态的适当算法，任何类型的活动都可能被解释为操作动作，这被称为“Midas Touch”问题。解决该问题的基线方法是使用一些焦点手势（如挥手或举手）来激活手势识别系统。然而，理想的自然用户界面应当能够自动理解用户的心理状态。本文提出了一种用于参与度检测的新型多模态模型 DAIA。使用 DAIA，执行动作的心理状态谱被量化为有限数量的参与状态。为此，设计了一个有限状态转换器（FST）。该参与框架展示了如何整合来自用户生物特征数据流（如 2D 和 3D 成像）的多模态信息。FST 被用于通过结合多个布尔表达式来平滑地进行状态转换。我们的 FST 在四种不同状态下的总体真实检测率为 92.3%。结果还表明，FST 能够更稳健地分割用户手势。
引用
@article{arxiv.1609.01344,
title = {Vision-based Engagement Detection in Virtual Reality},
author = {Ghassem Tofighi and Kaamraan Raahemifar and Maria Frank and Haisong Gu},
journal= {arXiv preprint arXiv:1609.01344},
year = {2016}
}
备注
Paper has been published in Digital Media Industry and Academic Forum 2016 (DMIAF 2016) http://ieee-digitalmediaforum.org/