利用手势与头部凝视预测沉浸式 AR 中垂直层级菜单选择的人类绩效
人机交互
2022-06-23 v1 机器学习
摘要
目前，针对沉浸式增强现实（AR）应用设计用户界面（UI）的指南十分有限。设计师必须反思其设计桌面和移动应用 UI 的经验，并推测 UI 将如何影响 AR 用户的绩效。在这项工作中，我们引入了一个预测模型，用于确定用户在目标 UI 上的绩效，而无需后续让参与者参与用户研究。该模型基于参与者在使用层级下拉菜单时对消耗耐力（CE）和指向时间（PT）等客观绩效指标的响应进行训练。通过从词汇数据库 WordNet 中包含的单词中随机动态地创建层级下拉菜单及相关用户任务，确保了菜单深度和上下文的较大可变性。通过在模型训练期间纳入用户的非语言标准绩效 WAIS-IV，减少了主观绩效偏差。菜单的语义信息使用通用句子编码器（Universal Sentence Encoder）进行编码。我们呈现的用户研究结果表明，所提出的预测模型在预测具有不同认知能力的用户在层级菜单上的 CE 方面达到了高准确度。据我们所知，这是首个在沉浸式 AR 应用 UI 设计中预测 CE 的工作。
引用
@article{arxiv.2206.09480,
title = {Predicting Human Performance in Vertical Hierarchical Menu Selection in Immersive AR Using Hand-gesture and Head-gaze},
author = {Majid Pourmemar and Yashas Joshi and Charalambos Poullis},
journal= {arXiv preprint arXiv:2206.09480},
year = {2022}
}